Python常見(jiàn)反爬蟲(chóng)機(jī)制解決方案
1、使用代理
適用情況：限制IP地址情況，也可解決由于“頻繁點(diǎn)擊”而需要輸入驗(yàn)證碼登陸的情況。
這種情況最好的辦法就是維護(hù)一個(gè)代理IP池，網(wǎng)上有很多免費(fèi)的代理IP，良莠不齊，可以通過(guò)篩選找到能用的。對(duì)于“頻繁點(diǎn)擊”的情況，我們還可以通過(guò)限制爬蟲(chóng)訪問(wèn)網(wǎng)站的頻率來(lái)避免被網(wǎng)站禁掉。
proxies = {'http':'http://XX.XX.XX.XX:XXXX'}
Requests：
import requests
response = requests.get(url=url, proxies=proxies)
Urllib2：
import urllib2
proxy_support = urllib2.ProxyHandler(proxies)
opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
urllib2.install_opener(opener) # 安裝opener，此后調(diào)用urlopen()時(shí)都會(huì)使用安裝過(guò)的opener對(duì)象
response = urllib2.urlopen(url)
2、時(shí)間設(shè)置
適用情況：限制頻率情況。
Requests，Urllib2都可以使用time庫(kù)的sleep()函數(shù)：
import time
time.sleep(1)
3、偽裝成瀏覽器，或者反“反盜鏈”
有些網(wǎng)站會(huì)檢查你是不是真的瀏覽器訪問(wèn)，還是機(jī)器自動(dòng)訪問(wèn)的。這種情況，加上User-Agent，表明你是瀏覽器訪問(wèn)即可。有時(shí)還
會(huì)檢查是否帶Referer信息還會(huì)檢查你的Referer是否合法，一般再加上Referer。
headers = {'User-Agent':'XXXXX'} # 偽裝成瀏覽器訪問(wèn)，適用于拒絕爬蟲(chóng)的網(wǎng)站
headers = {'Referer':'XXXXX'}
headers = {'User-Agent':'XXXXX', 'Referer':'XXXXX'}
Requests：
response = requests.get(url=url, headers=headers)
Urllib2：
import urllib, urllib2
req = urllib2.Request(url=url, headers=headers)
response = urllib2.urlopen(req)
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
夯實(shí)基礎(chǔ)python集合的應(yīng)用場(chǎng)景及字符串定義和表示
這篇文章主要為大家介紹了python集合的應(yīng)用場(chǎng)景及字符串定義和表示,來(lái)幫大家夯實(shí)基礎(chǔ),有需要的朋友可以借鑒參考下,希望能夠有所幫助2023-10-10
基于Python實(shí)現(xiàn)數(shù)據(jù)庫(kù)表結(jié)構(gòu)導(dǎo)出工具
這篇文章主要為大家詳細(xì)介紹了如何基于Python實(shí)現(xiàn)將數(shù)據(jù)庫(kù)表結(jié)構(gòu)導(dǎo)出到 Word 文檔的實(shí)用工具,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-04-04
python PIL中ImageFilter模塊圖片濾波處理和使用方法
這篇文章主要介紹PIL中ImageFilter模塊幾種圖片濾波處理和使用方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-11-11
說(shuō)到fileinput，可能90%的碼農(nóng)表示沒(méi)用過(guò)，甚至沒(méi)有聽(tīng)說(shuō)過(guò)。這不奇怪，因?yàn)樵趐ython界，既然open可以走天下，何必要fileinput呢，今天我們來(lái)了解下它2022-09-09
Python動(dòng)態(tài)生成多維數(shù)組的方法示例
這篇文章主要介紹了Python動(dòng)態(tài)生成多維數(shù)組的方法,涉及Python數(shù)組動(dòng)態(tài)遍歷、添加、打印等相關(guān)操作技巧,需要的朋友可以參考下2018-08-08
一篇文章帶你學(xué)習(xí)Python3的高級(jí)特性(2)
這篇文章主要為大家詳細(xì)介紹了Python3的高階函數(shù)，主要介紹什么是高級(jí)特性，高級(jí)特性的用法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-01-01
python數(shù)據(jù)解析BeautifulSoup爬取三國(guó)演義章節(jié)示例
這篇文章主要介紹了python數(shù)據(jù)解析BeautifulSoup爬取三國(guó)演義章節(jié)示例，文中附含詳細(xì)示例代碼，有需要的朋友可以借鑒參考下，希望能夠有所幫助2021-09-09
本文主要介紹Python3.9的一些新特性比如說(shuō)更快速的進(jìn)程釋放，性能的提升，簡(jiǎn)便的新字符串函數(shù)，字典并集運(yùn)算符以及更兼容穩(wěn)定的內(nèi)部API，感興趣的朋友跟隨小編一起看看吧2020-10-10
TensorFlow Session會(huì)話控制&Variable變量詳解
今天小編就為大家分享一篇TensorFlow Session會(huì)話控制&Variable變量詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-07-07
這篇文章主要介紹了Python中使用MySQL模糊查詢的方法,以下是一個(gè)使用pymysql進(jìn)行模糊查詢的詳細(xì)示例,包括安裝庫(kù)、連接數(shù)據(jù)庫(kù)、執(zhí)行查詢以及處理結(jié)果,需要的朋友可以參考下2024-06-06