scrapy中的spider傳參實現(xiàn)增量的方法
更新時間：2022年06月12日 10:13:34 作者：retime123
有時候需要根據(jù)項目的實際需求向spider傳遞參數(shù)來控制spider的運行方式，本文主要介紹了scrapy中的spider傳參實現(xiàn)增量的方法，具有一定的參考價值，感興趣的可以了解一下
有時候需要根據(jù)項目的實際需求向spider傳遞參數(shù)來控制spider的運行方式。
比如說，1.根據(jù)用戶提交的url來控制spider爬取的網(wǎng)站。2.根據(jù)需求增量爬取數(shù)據(jù)。
今天就寫一個增量（augmenter）的方式：
Spider參數(shù)通過 crawl 命令的 -a 選項來傳遞，比如：
scrapy crawl xxx -a augmenter=xxxxxx
注：augmenter=不為空
1.首先在spider里添加
注：在網(wǎng)上也看了不少的博客，最后發(fā)現(xiàn)*args, **kwargs這兩個必須加上，要不然會出現(xiàn)bug，不信的話可以試試哦！
如果想減少代碼量的話，可以寫到類里面去繼承！那這樣的話，spider里面就不要在寫了?。?！要不然就不起作用了?。?！
還有
super(eval(self.__class__.__name__), self).__init__(*args, **kwargs)
這里的eval()獲取的是類名，這樣寫必須是最后一個是你要的類名，中間有繼承什么的，就會出錯！或者直接把類名粘過來！
2.spider實現(xiàn)方式：
這樣就實現(xiàn)了簡單的增量！增量的方式有很多，常見的：時間、計數(shù)、爬取特定的幾頁！
選擇自己需要的增量方式寫在這個parse_augmenter()里面，
這樣需要從頭開始run和增量run就不受影響！
到此這篇關(guān)于scrapy中的spider傳參實現(xiàn)增量的方法的文章就介紹到這了,更多相關(guān)scrapy spider傳參增量內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Matplotlib animation模塊實現(xiàn)動態(tài)圖
這篇文章主要介紹了Matplotlib animation模塊實現(xiàn)動態(tài)圖,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
這篇文章主要介紹了python面試題之列表聲明,結(jié)合實例形式分析了Python列表的聲明、計算相關(guān)操作技巧,需要的朋友可以參考下2019-07-07
本篇文章給大家分享使用python的內(nèi)置模塊實現(xiàn)求解列表中元素的排列和組合問題，具體實現(xiàn)代碼大家參考下本文2018-03-03
這篇文章主要為大家介紹了Python中獲取協(xié)程返回值的四種方法的示例代碼，文中的代碼詳細(xì)易懂，對我們學(xué)習(xí)Python有一定的幫助，需要的朋友可以了解一下2021-12-12
Menu控件（菜單控件）可以說是 GUI 中“精髓所在”，它以可視化的方式將一系列的命令進(jìn)行分組，在每一個分組下又可以“隱藏”許多的程序執(zhí)行命令（即功能）。本文將詳細(xì)介紹它的使用，需要的可以參考一下2022-01-01
這篇文章主要介紹了Python3并發(fā)寫文件原理解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-11-11
python腳本實現(xiàn)分析dns日志并對受訪域名排行
這篇文章主要介紹了python腳本實現(xiàn)分析dns日志并對受訪域名排行,本文是在Windows服務(wù)器環(huán)境中實現(xiàn),需要的朋友可以參考下2014-09-09
這篇文章主要介紹了Python面向?qū)ο蟮某绦蛟O(shè)計詳情，面向?qū)ο蟮某绦蛟O(shè)計在Python中具有非常重要的地位，熟練的使用面向?qū)ο缶幊棠軌驗槲覀兊腜ython編程提供很多的便利之處，希望您閱讀完本文后能夠有所收獲2022-01-01
今天小編就為大家分享一篇根據(jù)tensor的名字獲取變量的值方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
這篇文章主要介紹了屏蔽Django admin界面添加按鈕的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03