python簡單構建可用IP代理池
更新時間：2022年02月10日 09:06:17 作者：阿南-anan??
這篇文章主要介紹了python構建簡單可以代理池,實現(xiàn)過程匹配ip:port的正則表達式、匹配出所有的ip與端口，放入列表、判斷爬取的代理ip是否可用、使用代理ip訪問指定網(wǎng)站，具體實現(xiàn)需要的小伙伴可以參考下面文章內(nèi)容
以下為簡單示例：
import requests
import re
import telnetlib
url='http://www.66ip.cn/nmtq.php?getnum=100000&isp=0&anonymoustype=4&start=&ports=&export=&ipaddress=&area=2&proxytype=0&api=66ip'
header = {'User-agent':'xxxxxxxxxxx','Connection':'close'}
page_text = requests.get(url=url,headers=header).text
#用于匹配ip:port的正則表達式
p = r'(?:((?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5]))\D+?(6[0-5]{2}[0-3][0-5]|[1-5]\d{4}|[1-9]\d{1,3}|[0-9]))'
#匹配出所有的ip與端口，放入列表
iplist = re.findall(p,page_text)
# 判斷爬取的代理ip是否可用
for i in iplist:
? ? ip = i[0]+':'+i[1]+'\n'
? ? try:
? ? ? ? # 使用代理ip訪問指定網(wǎng)站，能訪問說明代理可用
? ? ? ? # requests.get('http://www.baidu.com', proxies={"http": ip})
? ? ? ? # 使用telnet測試代理是否可用
? ? ? ? telnetlib.Telnet(i[0], port=i[1], timeout=3)
? ? except:
? ? ? ? print('connect failed')
? ? else:
? ? ? ? print(ip)
? ? ? ? with open('ip.txt', 'a+', encoding='utf-8') as fp:
? ? ? ? ? ? fp.write(ip)
到此這篇關于python構建簡單可以代理池的文章就介紹到這了,更多相關python構建簡單代理池內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
下面小編就為大家分享一篇對numpy中array和asarray的區(qū)別詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
對django2.0 關聯(lián)表的必填on_delete參數(shù)的含義解析
今天小編就為大家分享一篇對django2.0 關聯(lián)表的必填on_delete參數(shù)的含義解析，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要為大家詳細介紹了Python基于Socket實現(xiàn)簡單聊天室，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-02-02
Python深度學習pytorch神經(jīng)網(wǎng)絡填充和步幅的理解
這篇文章主要介紹了Python深度學習pytorch神經(jīng)網(wǎng)絡填充和步幅的理解2021-10-10
這篇文章主要介紹了Python隨機數(shù)模塊，隨機數(shù)模塊實現(xiàn)了各種分布的偽隨機數(shù)生成器。對于整數(shù)，從范圍中有統(tǒng)一的選擇。 對于序列，存在隨機元素的統(tǒng)一選擇、用于生成列表的隨機排列的函數(shù)、以及用于隨機抽樣而無需替換的函數(shù)，下文來看看詳細內(nèi)容,需要的朋友可以參考一下2021-11-11
python+pyqt實現(xiàn)12306圖片驗證效果
這篇文章主要為大家詳細介紹了python+pyqt實現(xiàn)12306圖片驗證效果，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-10-10
python中l(wèi)ower函數(shù)實現(xiàn)方法及用法講解
在本篇文章里小編給大家整理的是一篇關于python中l(wèi)ower函數(shù)實現(xiàn)方法及用法講解內(nèi)容，有需要的朋友們可以學習參考下。2020-12-12
這篇文章主要為大家詳細介紹了python使用SMTP發(fā)送qq或sina郵件，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-10-10
這篇文章主要介紹了python:竊取攝像頭照片的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-01-01
Python實現(xiàn)動態(tài)添加屬性和方法操作示例
這篇文章主要介紹了Python實現(xiàn)動態(tài)添加屬性和方法操作,結合實例形式分析了Python類中屬性與方法的動態(tài)添加、綁定、刪除等相關操作技巧,需要的朋友可以參考下2018-07-07