一.為什么使用Scrapy框架?

Scrapy是一個(gè)快速、高層次的屏幕抓取和web抓取的框架,可用于數(shù)據(jù)挖掘、監(jiān)測和自動(dòng)化檢測，任何人都可以根據(jù)需要去進(jìn)行修改。

二.Scrapy框架每個(gè)組件介紹

1.Scrapy引擎（Scrapy Engine）：負(fù)責(zé)控制數(shù)據(jù)流在系統(tǒng)的所以組件中的流動(dòng)，并在相應(yīng)動(dòng)作發(fā)生時(shí)觸發(fā)事件。

2.調(diào)度器（Scheduler）:從引擎接受reques并將其入隊(duì)，便于以后請求它們提供給引擎。

3.下載器（Downloader）：負(fù)責(zé)獲取網(wǎng)頁數(shù)據(jù)并且提供給引擎，然后提供給Spider。

4.Spiders： 指Scrapy用戶編寫用于分析response并且提取item或額外跟進(jìn)的URL類人。每個(gè)Spider負(fù)責(zé)處理一些特定網(wǎng)站。

5.Item Pipeline：負(fù)責(zé)處理被Spider提取出來的item。典型的處理有清潔、驗(yàn)證及持久化

6.下載器中間件（Downloader Middlewares）：指在引擎及下載器之間的特定鉤子（specific hook），處理Downloader 傳遞給引擎的response。它提供一個(gè)簡便的機(jī)制，通過插入自定義代碼來擴(kuò)展Scrapy功能。

7.Spiders中間件（Spider Middlewares）:指在引擎及Spider之間的特定鉤子（specific hook），處理Spider 的輸入（response）和輸出（items及requests）。它提供一個(gè)簡便的機(jī)制，通過插入自定義代碼來擴(kuò)展Scrapy功能。

三.Scrapy框架工作原理

1.引擎向spider要URL

2.引擎將要爬取的URL給調(diào)度器

3.調(diào)度器會(huì)將URL生成請求對象放入指定的隊(duì)列中

4.從隊(duì)列中出隊(duì)一個(gè)請求

5.引擎將請求交給下載器進(jìn)行處理

6.下載器發(fā)送請求獲取互聯(lián)網(wǎng)數(shù)據(jù)

7.下載器將數(shù)據(jù)返回給引擎

8.引擎將數(shù)據(jù)再次給到spiders

9.spiders通過xpath解析該數(shù)據(jù)，得到數(shù)據(jù)或URL

10.spiders將數(shù)據(jù)或URL給到引擎

11.引擎判斷該數(shù)據(jù)是URL還是數(shù)據(jù)，交給管道處理，URL交給調(diào)度器處理

12.當(dāng)調(diào)度器里沒有任何數(shù)據(jù)之后，整個(gè)程序停止

下面是我根據(jù)工作原理畫的可以結(jié)合去看：

總結(jié)

本篇文章就到這里了，希望能夠給你帶來幫助，也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!