Python數(shù)據(jù)抓取爬蟲代理防封IP方法
爬蟲：一段自動抓取互聯(lián)網(wǎng)信息的程序，從互聯(lián)網(wǎng)上抓取對于我們有價值的信息，一般來說，Python爬蟲程序很多時候都要使用（飛豬IP）代理的IP地址來爬取程序，但是默認(rèn)的urlopen是無法使用代理的IP的，我就來分享一下Python爬蟲怎樣使用代理IP的經(jīng)驗(yàn)。（推薦飛豬代理IP注冊可免費(fèi)使用，瀏覽器搜索可找到）
1、劃重點(diǎn)，小編我用的是Python3哦，所以要導(dǎo)入urllib的request，然后我們調(diào)用ProxyHandler，它可以接收代理IP的參數(shù)。代理可以根據(jù)自己需要選擇，當(dāng)然免費(fèi)的也是有的，但是可用率可想而知的。（飛豬IP）
2、接著把IP地址以字典的形式放入其中，這個IP地址是我亂寫的，只是用來舉例。設(shè)置鍵為http，當(dāng)然有些是https的，然后后面就是IP地址以及端口號（9000），具體看你的IP地址是什么類型的，不同IP端口號可能不同根據(jù)你在飛豬提取的端口為準(zhǔn)。
3、接著再用build_opener()來構(gòu)建一個opener對象。
4、然后調(diào)用構(gòu)建好的opener對象里面的open方法來發(fā)生請求。實(shí)際上urlopen也是類似這樣使用內(nèi)部定義好的opener.open()，這里就相當(dāng)于我們自己重寫。
5、當(dāng)然了，如果我們使用install_opener()，就可以把之前自定義的opener設(shè)置成全局的。
6、設(shè)置成全局之后，如果我們再使用urlopen來發(fā)送請求，那么發(fā)送請求使用的IP地址就是代理IP，而不是本機(jī)的IP地址了。
7、最后再來說說使用代理遇到的錯誤，提示目標(biāo)計(jì)算機(jī)積極拒絕，這就說明可能是代理IP無效，或者端口號錯誤，這就需要使用有效的IP才行哦。（這邊現(xiàn)在是亂填寫的IP地址）可選擇飛豬的代理IP。
總結(jié)：以上就是本次關(guān)于Python數(shù)據(jù)抓取爬蟲代理防封IP方法，感謝大家的閱讀和對腳本之家的支持。
相關(guān)文章
Python多進(jìn)程并發(fā)(multiprocessing)用法實(shí)例詳解
這篇文章主要介紹了Python多進(jìn)程并發(fā)(multiprocessing)用法,實(shí)例分析了multiprocessing模塊進(jìn)程操作的相關(guān)技巧,需要的朋友可以參考下2015-06-06
Python?OpenCV實(shí)現(xiàn)姿態(tài)識別的詳細(xì)代碼
這篇文章主要介紹了Python?OpenCV實(shí)現(xiàn)姿態(tài)識別的方法，本文通過截圖實(shí)例代碼相結(jié)合給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-02-02
基于Python實(shí)現(xiàn)隨機(jī)點(diǎn)名系統(tǒng)的示例代碼
在某些難以抉擇得時候，我們經(jīng)常要用外力來幫助我們做出選擇，比如，梁山出征方臘前沙場點(diǎn)兵，挑選先鋒的場景。所以本文就來用Python做個隨機(jī)點(diǎn)名系統(tǒng)吧，需要的可以參考一下2023-04-04
Python中使用線程有兩種方式：函數(shù)或者用類來包裝線程對象2012-12-12
用python 批量更改圖像尺寸到統(tǒng)一大小的方法
下面小編就為大家分享一篇用python 批量更改圖像尺寸到統(tǒng)一大小的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-03-03
Pytorch搭建YoloV4目標(biāo)檢測平臺實(shí)現(xiàn)源碼
這篇文章主要為大家介紹了Pytorch搭建YoloV4目標(biāo)檢測平臺實(shí)現(xiàn)源碼，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
python中time tzset()函數(shù)實(shí)例用法
在本篇文章里小編給大家整理的是一篇關(guān)于python中time tzset()函數(shù)實(shí)例用法內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2021-02-02
這篇文章主要為大家詳細(xì)介紹了python開發(fā)飛機(jī)大戰(zhàn)游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-07-07
這篇文章主要介紹了簡單了解django處理跨域請求最佳解決方案,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了python 通⽤爬⾍和聚焦爬⾍的相關(guān)資料，幫助大家更好的了解和使用python 爬蟲，感興趣的朋友可以了解下2020-09-09