詳解爬蟲被封的問題
如果你在爬蟲過程中有遇到“您的請求太過頻繁，請稍后再試”，或者說代碼完全正確，可是爬蟲過程中突然就訪問不了，那么恭喜你，你的爬蟲被對方識破了，輕則給予友好提示警告，嚴(yán)重的可能會對你的ip進(jìn)行封禁，所以代理ip那就尤為重要了。今天我們就來談一下代理IP，去解決爬蟲被封的問題。
網(wǎng)上有許多代理ip，免費的、付費的。大多數(shù)公司爬蟲會買這些專業(yè)版，對于普通人來說，免費的基本滿足我們需要了，不過免費有一個弊端，時效性不強(qiáng)，不穩(wěn)定，所以我們就需要對采集的ip進(jìn)行一個簡單的驗證。
1.目標(biāo)采集
本文主要針對西刺代理，這個網(wǎng)站很早之前用過，不過那個時候它還提供免費的api，現(xiàn)在api暫不提供了，我們就寫個簡單的爬蟲去采集。
打開西刺代理，有幾個頁面，果斷選擇高匿代理。
Chrome瀏覽器右鍵檢查查看network，不難發(fā)現(xiàn)，每個ip地址都在td標(biāo)簽中，對于我們來說就簡單許多了，初步的想法就是獲取所有的ip，然后校驗可用性，不可用就剔除。
定義匹配規(guī)則
import re ip_compile = re.compile(r'<td>(\d+\.\d+\.\d+\.\d+)</td>') # 匹配IP port_compile = re.compile(r'<td>(\d+)</td>') # 匹配端口
2.校驗 這里我使用淘寶ip地址庫檢驗可用性
2.1、關(guān)于淘寶IP地址庫
目前提供的服務(wù)包括：
- 1. 根據(jù)用戶提供的IP地址，快速查詢出該IP地址所在的地理信息和地理相關(guān)的信息，包括國家、省、市和運(yùn)營商。
- 2. 用戶可以根據(jù)自己所在的位置和使用的IP地址更新我們的服務(wù)內(nèi)容。
我們的優(yōu)勢：
- 1. 提供國家、省、市、縣、運(yùn)營商全方位信息，信息維度廣，格式規(guī)范。
- 2. 提供完善的統(tǒng)計分析報表，省準(zhǔn)確度超過99.8%，市準(zhǔn)確度超過96.8%，數(shù)據(jù)質(zhì)量有保障。
2.2、接口說明
請求接口（GET）：
ip.taobao.com/service/get…
例：http://ip.taobao.com/service/getIpInfo2.php?ip=111.177.181.44
響應(yīng)信息：
（json格式的）國家 、?。ㄗ灾螀^(qū)或直轄市）、市（縣）、運(yùn)營商
返回數(shù)據(jù)格式：
{"code":0,"data":{"ip":"210.75.225.254","country":"\u4e2d\u56fd","area":"\u534e\u5317",
"region":"\u5317\u4eac\u5e02","city":"\u5317\u4eac\u5e02","county":"","isp":"\u7535\u4fe1",
"country_id":"86","area_id":"100000","region_id":"110000","city_id":"110000",
"county_id":"-1","isp_id":"100017"}}
其中code的值的含義為，0：成功，1：失敗。
注意：為了保障服務(wù)正常運(yùn)行，每個用戶的訪問頻率需小于10qps。
我們先通過瀏覽器測試一下
輸入地址http://ip.taobao.com/service/getIpInfo2.php?ip=111.177.181.44
再次輸入一個地址http://ip.taobao.com/service/getIpInfo2.php?ip=112.85.168.98
代碼操作
import requests
check_api = "http://ip.taobao.com/service/getIpInfo2.php?ip="
api = check_api + ip
try:
response = requests.get(url=api, headers=api_headers, timeout=2)
print("ip：%s 可用" % ip)
except Exception as e:
print("此ip %s 已失效：%s" % (ip, e))
3.代碼
代碼中加入了異常處理，其實自己手寫的demo寫不寫異常處理都可以，但是為了方便其他人調(diào)試，建議在可能出現(xiàn)異常的地方加入異常處理。
import requests
import re
import random
from bs4 import BeautifulSoup
ua_list = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36",
"Mozilla / 5.0(Windows NT 6.1;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 45.0.2454.101Safari / 537.36"
]
def ip_parse_xici(page):
"""
:param page: 采集的頁數(shù)
:return:
"""
ip_list = []
for pg in range(1, int(page)):
url = 'http://www.xicidaili.com/nn/' + str(pg)
user_agent = random.choice(ua_list)
my_headers = {
'Accept': 'text/html, application/xhtml+xml, application/xml;',
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Referer': 'http: // www.xicidaili.com/nn',
'User-Agent': user_agent
}
try:
r = requests.get(url, headers=my_headers)
soup = BeautifulSoup(r.text, 'html.parser')
except requests.exceptions.ConnectionError:
print('ConnectionError')
else:
data = soup.find_all('td')
# 定義IP和端口Pattern規(guī)則
ip_compile = re.compile(r'<td>(\d+\.\d+\.\d+\.\d+)</td>') # 匹配IP
port_compile = re.compile(r'<td>(\d+)</td>') # 匹配端口
ips = re.findall(ip_compile, str(data)) # 獲取所有IP
ports = re.findall(port_compile, str(data)) # 獲取所有端口
check_api = "http://ip.taobao.com/service/getIpInfo2.php?ip="
for i in range(len(ips)):
if i < len(ips):
ip = ips[i]
api = check_api + ip
api_headers = {
'User-Agent': user_agent
}
try:
response = requests.get(url=api, headers=api_headers, timeout=2)
print("ip：%s 可用" % ip)
except Exception as e:
print("此ip %s 已失效：%s" % (ip, e))
del ips[i]
del ports[i]
ips_usable = ips
ip_list += [':'.join(n) for n in zip(ips_usable, ports)] # 列表生成式
print('第{}頁ip采集完成'.format(pg))
print(ip_list)
if __name__ == '__main__':
xici_pg = input("請輸入需要采集的頁數(shù)：")
ip_parse_xici(page=xici_pg)
運(yùn)行代碼：
4.為你的爬蟲加入代理ip
建議大家可以把采集的ip存入數(shù)據(jù)庫，這樣每次爬蟲的時候直接調(diào)用即可，順便提一下代碼中怎么加入代理ip。
import requests
url = 'www.baidu.com'
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36",
}
proxies = {
"http": "http://111.177.181.44:9999",
# "https": "https://111.177.181.44:9999",
}
res = requests.get(url=url, headers=headers, proxies=proxies)
好了，媽媽再也不擔(dān)心我爬蟲被封了
以上所述是小編給大家介紹的爬蟲被封的問題詳解整合，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
相關(guān)文章
pytorch cnn 識別手寫的字實現(xiàn)自建圖片數(shù)據(jù)
這篇文章主要介紹了pytorch cnn 識別手寫的字實現(xiàn)自建圖片數(shù)據(jù)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-05-05
如何給pip更換國內(nèi)源并配置Python的國內(nèi)鏡像詳解
pip安裝的包都存在于外國的服務(wù)器上,速度會非常慢,可以給pip配置國內(nèi)鏡像,直接從國內(nèi)服務(wù)器安裝依賴,這篇文章主要介紹了如何給pip更換國內(nèi)源并配置Python的國內(nèi)鏡像的相關(guān)資料,需要的朋友可以參考下2025-04-04
for循環(huán)在Python中的工作原理詳細(xì)
for...in 是Python程序員使用最多的語句，for 循環(huán)用于迭代容器對象中的元素，這些對象可以是列表、元組、字典、集合、文件，甚至可以是自定義類或者函數(shù)，下面小編將舉例說明,需要的朋友可以參考下2021-10-10
flask 使用 flask_apscheduler 做定時循環(huán)任務(wù)的實現(xiàn)
這篇文章主要介紹了flask 使用 flask_apscheduler 做定時循環(huán)任務(wù)的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
下面小編就為大家分享一篇python 通過xml獲取測試節(jié)點和屬性的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-03-03
pyqt5對用qt designer設(shè)計的窗體實現(xiàn)彈出子窗口的示例
今天小編就為大家分享一篇pyqt5對用qt designer設(shè)計的窗體實現(xiàn)彈出子窗口的示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
Python實現(xiàn)將字典內(nèi)容寫入json文件
這篇文章主要為大家詳細(xì)介紹了如何利用Python語言實現(xiàn)將字典內(nèi)容寫入json文件，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2022-08-08
詳解Python之Scrapy爬蟲教程N(yùn)BA球員數(shù)據(jù)存放到Mysql數(shù)據(jù)庫
這篇文章主要介紹了詳解Python之Scrapy爬蟲教程N(yùn)BA球員數(shù)據(jù)存放到Mysql數(shù)據(jù)庫，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
這篇文章主要介紹了python傳遞參數(shù)方式,實例總結(jié)了Python常用的參數(shù)傳遞方式,具有一定參考借鑒價值,需要的朋友可以參考下2015-04-04
Python生成隨機(jī)數(shù)組的方法小結(jié)
這篇文章主要介紹了Python生成隨機(jī)數(shù)組的方法,結(jié)合實例形式總結(jié)分析了Python使用random模塊生成隨機(jī)數(shù)與數(shù)組操作相關(guān)技巧,需要的朋友可以參考下2017-04-04