Python爬蟲(chóng)設(shè)置代理IP(圖文)
在爬蟲(chóng)的過(guò)程中，我們經(jīng)常會(huì)遇見(jiàn)很多網(wǎng)站采取了防爬取技術(shù)，或者說(shuō)因?yàn)樽约翰杉W(wǎng)站信息的強(qiáng)度和采集速度太大，給對(duì)方服務(wù)器帶去了太多的壓力。
如果你一直用同一個(gè)代理ip爬取這個(gè)網(wǎng)頁(yè)，很有可能ip會(huì)被禁止訪問(wèn)網(wǎng)頁(yè)，所以基本上做爬蟲(chóng)的都躲不過(guò)去ip的問(wèn)題。
1、我們?cè)谧雠老x(chóng)的過(guò)程中經(jīng)常會(huì)遇到這樣的情況，最初爬蟲(chóng)正常運(yùn)行，正常爬取數(shù)據(jù)，一切看起來(lái)都是那么美好，然而不久之后可能會(huì)出現(xiàn)錯(cuò)誤，比如 403 Forbidden，這時(shí)候你打開(kāi)網(wǎng)頁(yè)一看，可能會(huì)看到“您的 IP 訪問(wèn)頻率太高”這樣的提示。出現(xiàn)這種情況的原因是網(wǎng)站采取了一些反爬蟲(chóng)措施，比如，服務(wù)器會(huì)檢測(cè)某個(gè) IP 在單位時(shí)間內(nèi)的請(qǐng)求次數(shù)，如果超過(guò)了這個(gè)閾值，就會(huì)直接拒絕服務(wù)，返回一些錯(cuò)誤信息，這種情況可以稱為封 IP。
爬蟲(chóng)代理獲取
獲取IP池其實(shí)要找信的過(guò)的爬蟲(chóng)代理，我用的就是飛豬爬蟲(chóng)代理 ，優(yōu)點(diǎn)自然就是使用率高于99%，缺點(diǎn)是沒(méi)有免費(fèi)的，0.03元一個(gè)IP，一天可以用1000個(gè)，一次可以API提取200個(gè) 。當(dāng)然如果你們的用量還不滿足可以加！
爬蟲(chóng)代理IP的使用
運(yùn)行上面的代碼會(huì)得到一個(gè)隨機(jī)的proxies，把它直接傳入requests的get方法中即可。
1、測(cè)試效果
本次測(cè)試得出的結(jié)論：飛豬IP爬蟲(chóng)代理，可用率、響應(yīng)速度、穩(wěn)定性、價(jià)格、安全性、使用頻率，還是不錯(cuò)的，值得推薦
總結(jié)：以上就是關(guān)于python爬蟲(chóng)設(shè)置代理IP的步驟內(nèi)容，感謝大家的閱讀和對(duì)腳本之家的支持。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了基于Python實(shí)現(xiàn)隨機(jī)生成8位密碼的相關(guān)方法，文中的示例代碼講解詳細(xì)，具有一定的借鑒價(jià)值，需要的可以參考一下2023-02-02
python自動(dòng)化測(cè)試selenium操作下拉列表實(shí)現(xiàn)
這篇文章主要為大家介紹了python自動(dòng)化測(cè)試selenium操作下拉列表實(shí)現(xiàn)方式，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步2021-11-11
這篇文章主要介紹了Python中def的用法以及def是什么意思的相關(guān)資料,文中介紹了Python中函數(shù)的定義和使用方法,還給出了詳細(xì)的代碼示例,需要的朋友可以參考下2024-10-10
這篇文章主要介紹了Python中的類學(xué)習(xí)筆記,本文是個(gè)人學(xué)習(xí)總結(jié),用實(shí)例講解了類的定義、訪問(wèn)控制等內(nèi)容,需要的朋友可以參考下2014-09-09
使用Python設(shè)置tmpfs來(lái)加速項(xiàng)目的教程
這篇文章主要介紹了使用Python設(shè)置tmpfs來(lái)加速項(xiàng)目的教程,文中給出方法使用Python腳本將tmpfs保存于內(nèi)存中的程序存儲(chǔ)到本地硬盤(pán)上,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了Python?圖形繪制詳細(xì)代碼，文章主要從最簡(jiǎn)單圖像的開(kāi)始，在同一圖上繪制兩條或多條線一些簡(jiǎn)單操作,想了解的小伙伴可以學(xué)習(xí)一下，希望對(duì)你的學(xué)習(xí)有所幫助2021-12-12
python進(jìn)行圖像邊緣檢測(cè)的詳細(xì)教程
相信大家對(duì)于邊緣檢測(cè)這幾個(gè)詞并不陌生,但是相對(duì)于如何處理,如何進(jìn)行圖像的邊緣檢測(cè)卻無(wú)能為力、束手無(wú)策了,下面這篇文章主要給大家介紹了關(guān)于python進(jìn)行圖像邊緣檢測(cè)的詳細(xì)教程,需要的朋友可以參考下2023-04-04
python+selenium使用xpath定位的問(wèn)題及解決
這篇文章主要介紹了python+selenium使用xpath定位的問(wèn)題及解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-05-05
pandas是一個(gè)第三方數(shù)據(jù)分析庫(kù),其集成了大量的數(shù)據(jù)分析工具,可以方便的處理和分析各類數(shù)據(jù),本文將給大家介紹Python利用pandas處理CSV文件的用法示例,文中通過(guò)代碼和圖文講解的非常詳細(xì),需要的朋友可以參考下2024-07-07
在本篇文章里小編給大家整理的是一篇關(guān)于python關(guān)鍵字的查看方法和實(shí)例內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2021-01-01