scrapy

基本功能

Scrapy是一個為爬取網站數據、提取結構性數據而設計的應用程式框架，它可以套用在廣泛領域：Scrapy 常套用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程式中。通常我們可以很簡單的通過 Scrapy 框架實現一個爬蟲，抓取指定網站的內容或圖片。

儘管Scrapy原本是設計用來螢幕抓取（更精確的說，是網路抓取），但它也可以用來訪問API來提取數據。

Scrapy Engine(引擎)：負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數據傳遞等。

Scheduler(調度器)：它負責接受引擎傳送過來的Request請求，並按照一定的方式進行整理排列，入隊，當引擎需要時，交還給引擎。

Downloader（下載器）：負責下載Scrapy Engine(引擎)傳送的所有Requests請求，並將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理。

Spider（爬蟲）：它負責處理所有Responses,從中分析提取數據，獲取Item欄位需要的數據，並將需要跟進的URL提交給引擎，再次進入Scheduler(調度器)。

Item Pipeline(管道)：它負責處理Spider中獲取到的Item，並進行進行後期處理（詳細分析、過濾、存儲等）的地方。

Downloader Middlewares（下載中間件）：一個可以自定義擴展下載功能的組件。

Spider Middlewares（Spider中間件）：一個可以自定擴展和操作引擎和Spider中間通信的功能組件。

具體如下：

選擇一個網站，如果你需要從某個網站提取一些信息，但是網站不提供API或者其他可程式的訪問機制，那么Scrapy可以幫助你提取信息。

定義你要抓取的數據，第一件事情就是定義你要抓取的數據，在Scrapy這個是通過定義Scrapy Items來實現的。

這就是要定義的Item

from scrapy.item import Item， Fieldclass Torrent(Item):    url = Field()    name = Field()    description = Field()    size = Field()