Python爬蟲(chóng)scrapy框架Cookie池(微博Cookie池)的使用
下載代碼Cookie池（這里主要是微博登錄，也可以自己配置置其他的站點(diǎn)網(wǎng)址）
下載代碼GitHub：https://github.com/Python3WebSpider/CookiesPool
下載安裝過(guò)后注意看網(wǎng)頁(yè)下面的相關(guān)基礎(chǔ)配置和操作?。。。。。。。。。。。?！
自己的設(shè)置主要有下面幾步：
1、配置其他設(shè)置
2、設(shè)置使用的瀏覽器
3、設(shè)置模擬登陸
源碼cookies.py的修改（以下兩處不修改可能會(huì)產(chǎn)生bug）：
4、獲取cookie
隨機(jī)獲取Cookies： http://localhost:5000/weibo/random（注意：cookie使用時(shí)是需要后期處理的?。。?/strong>
簡(jiǎn)單的處理方式，如下代碼（偶爾需要對(duì)獲取的cookie處理）：
def get_cookie(self):
return requests.get('http://127.0.0.1:5000/weibo/random').text
def stringToDict(self,cookie):
itemDict = {}
items = cookie.replace(':', '=').split(',')
for item in items:
key = item.split('=')[0].replace(' ', '').strip(' "')
value = item.split('=')[1].strip(' "')
itemDict[key] = value
return itemDict
scrapy爬蟲(chóng)的使用示例（爬取微博）：
middlewares.py中自定義請(qǐng)求中間件
def start_requests(self):
ua = UserAgent()
headers = {
'User-Agent': ua.random,
}
cookies = self.stringToDict(str(self.get_cookie().strip('{|}')))
yield scrapy.Request(url=self.start_urls[0], headers=headers,
cookies=cookies, callback=self.parse)
cookies = self.stringToDict(str(self.get_cookie().strip('{|}')))
yield scrapy.Request(url=self.start_urls[0], headers=headers,
cookies=cookies, callback=self.parse)
settings.py 中的配置：
5、錄入賬號(hào)和密碼：
格式規(guī)定（賬號(hào)----密碼）
6、驗(yàn)證：（注意：使用cmd）
7、使用時(shí)注意保持cmd打開(kāi)運(yùn)行！！
使用時(shí)一定要打開(kāi)cmd,并運(yùn)行如第6步。
得到Cookie是判斷是否處理處理Cookie（幾乎都需要?。。╊?lèi)比第4步?。。?/strong>
到此這篇關(guān)于Python爬蟲(chóng)scrapy框架Cookie池(微博Cookie池)的使用的文章就介紹到這了,更多相關(guān)scrapy Cookie池內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python使用PIL剪切和拼接圖片，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-03-03
詳解selenium + chromedriver 被反爬的解決方法
這篇文章主要介紹了詳解selenium + chromedriver 被反爬的解決方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10
self.layers?是一個(gè)用于存儲(chǔ)網(wǎng)絡(luò)層的屬性,本文主要介紹了PyTorch中self.layers的使用小結(jié),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-01-01
Pandas 是 python 的一個(gè)數(shù)據(jù)分析包，屬于PyData項(xiàng)目的一部分。下面這篇文章主要介紹了Python中科學(xué)計(jì)算之Pandas,需要的朋友可以參考借鑒，下面來(lái)一起學(xué)習(xí)學(xué)習(xí)。2017-01-01
這篇文章主要帶大家來(lái)復(fù)習(xí)一下Python基礎(chǔ)中的列表操作，不知道各位還記得多少呢？文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)Python有一定幫助，需要的可以參考一下2022-11-11
Python基于socket模塊實(shí)現(xiàn)UDP通信功能示例
這篇文章主要介紹了Python基于socket模塊實(shí)現(xiàn)UDP通信功能,結(jié)合實(shí)例形式分析了Python使用socket模塊實(shí)現(xiàn)IPV4協(xié)議下的UDP通信客戶端與服務(wù)器端相關(guān)操作技巧,需要的朋友可以參考下2018-04-04
Python畫(huà)圖實(shí)現(xiàn)同一結(jié)點(diǎn)多個(gè)柱狀圖的示例
今天小編就為大家分享一篇Python畫(huà)圖實(shí)現(xiàn)同一結(jié)點(diǎn)多個(gè)柱狀圖的示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
Python 數(shù)據(jù)科學(xué) Matplotlib圖庫(kù)詳解
Matplotlib 是 Python 的二維繪圖庫(kù)，用于生成符合出版質(zhì)量或跨平臺(tái)交互環(huán)境的各類(lèi)圖形。今天通過(guò)本文給大家分享Python 數(shù)據(jù)科學(xué) Matplotlib的相關(guān)知識(shí)，感興趣的朋友一起看看吧2021-07-07
Tensorflow高性能數(shù)據(jù)優(yōu)化增強(qiáng)工具Pipeline使用詳解
這篇文章主要為大家介紹了Tensorflow高性能數(shù)據(jù)優(yōu)化增強(qiáng)工具Pipeline使用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-11-11
Python?matplotlib中更換畫(huà)布背景顏色的3種方法
這篇文章主要給大家介紹了關(guān)于Python?matplotlib中更換畫(huà)布背景顏色的3種方法,在Matplotlib中,我們可以使用set_facecolor()方法來(lái)設(shè)置背景顏色,文中通過(guò)圖文以及代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-11-11