python通過(guò)偽裝頭部數(shù)據(jù)抵抗反爬蟲(chóng)的實(shí)例
更新時(shí)間：2018年05月07日 08:47:56 作者：JackReach
下面小編就為大家分享一篇python通過(guò)偽裝頭部數(shù)據(jù)抵抗反爬蟲(chóng)的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
0x00 環(huán)境
系統(tǒng)環(huán)境:win10
編寫(xiě)工具:JetBrains PyCharm Community Edition 2017.1.2 x64
python 版本:python-3.6.2
抓包工具:Fiddler 4
0x01 頭部數(shù)據(jù)偽裝思路
通過(guò)http向服務(wù)器提交數(shù)據(jù),以下是通過(guò)Fiddler 抓取python沒(méi)有偽裝的報(bào)文頭信息
GET /u012870721 HTTP/1.1 Accept-Encoding: identity Host: blog.csdn.net User-Agent: <span style="color:#ff0000;">Python-urllib/3.6</span> Connection: close
Python-urllib/3.6
很明顯啊，我們暴露了?，F(xiàn)在要問(wèn)了，該怎么！模擬瀏覽器，讓自己偽裝成瀏覽器，一下是瀏覽器訪(fǎng)問(wèn)發(fā)送的頭部數(shù)據(jù)
Connection: keep-alive Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36 Referer: http://write.blog.csdn.net/postlist Accept-Encoding: gzip, deflate Accept-Language: zh-CN,zh;q=0.8
0x02代碼實(shí)現(xiàn)
from urllib import request
html_url = "http://blog.csdn.net/u012870721";
#偽裝構(gòu)造頭
header ={
"Connection": "keep-alive",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36",
"Accept":" text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
"Accept-Encoding": "gzip,deflate",
"Accept-Language": "zh-CN,zh;q=0.8"
};
#int main()
#{
req = request.Request(url=html_url, headers=header);
resp = request.urlopen(req);
# return 0;
# }
偽裝后進(jìn)行發(fā)送的信息頭
GET /u012870721 HTTP/1.1 Host: blog.csdn.net Connection: close Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 Accept-Encoding: gzip,deflate Accept-Language: zh-CN,zh;q=0.8
以上這篇python通過(guò)偽裝頭部數(shù)據(jù)抵抗反爬蟲(chóng)的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- python爬蟲(chóng)爬取淘寶商品比價(jià)(附淘寶反爬蟲(chóng)機(jī)制解決小辦法)
- 用sleep間隔進(jìn)行python反爬蟲(chóng)的實(shí)例講解
- python中繞過(guò)反爬蟲(chóng)的方法總結(jié)
- cookies應(yīng)對(duì)python反爬蟲(chóng)知識(shí)點(diǎn)詳解
- python反爬蟲(chóng)方法的優(yōu)缺點(diǎn)分析
- python 常見(jiàn)的反爬蟲(chóng)策略
- Python爬蟲(chóng)與反爬蟲(chóng)大戰(zhàn)
- Python常見(jiàn)反爬蟲(chóng)機(jī)制解決方案
- Python反爬蟲(chóng)偽裝瀏覽器進(jìn)行爬蟲(chóng)
- 詳解python 破解網(wǎng)站反爬蟲(chóng)的兩種簡(jiǎn)單方法
- python爬蟲(chóng) urllib模塊反爬蟲(chóng)機(jī)制UA詳解
- 用python3 urllib破解有道翻譯反爬蟲(chóng)機(jī)制詳解
- Python反爬蟲(chóng)技術(shù)之防止IP地址被封殺的講解
- Python3爬蟲(chóng)學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲(chóng)機(jī)制的方法分析
- python網(wǎng)絡(luò)爬蟲(chóng)之如何偽裝逃過(guò)反爬蟲(chóng)程序的方法
- python解決網(wǎng)站的反爬蟲(chóng)策略總結(jié)
- Requests什么的通通爬不了的Python超強(qiáng)反爬蟲(chóng)方案！
相關(guān)文章
Windows系統(tǒng)下使用flup搭建Nginx和Python環(huán)境的方法
這篇文章主要介紹了Windows系統(tǒng)下使用flup搭建Nginx和Python環(huán)境的方法,文中使用到了flup這個(gè)Python的FastCGI工具,需要的朋友可以參考下2015-12-12
python利用Opencv實(shí)現(xiàn)人臉識(shí)別功能
這篇文章主要為大家詳細(xì)介紹了python利用Opencv實(shí)現(xiàn)人臉識(shí)別功能，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-04-04
這篇文章主要介紹了python多重繼承實(shí)例,簡(jiǎn)單實(shí)用易于理解,需要的朋友可以參考下2014-10-10
opencv 攝像機(jī)標(biāo)定的實(shí)現(xiàn)
本文主要介紹了opencv 攝像機(jī)標(biāo)定的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-02-02
這篇文章主要介紹了使用scrapy實(shí)現(xiàn)增量式爬取方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-06-06
基于Django用戶(hù)認(rèn)證系統(tǒng)詳解
下面小編就為大家分享一篇基于Django用戶(hù)認(rèn)證系統(tǒng)詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-02-02
mvc框架打造筆記之wsgi協(xié)議的優(yōu)缺點(diǎn)以及接口實(shí)現(xiàn)
這篇文章主要給大家介紹了關(guān)于mvc框架打造筆記之wsgi協(xié)議的優(yōu)缺點(diǎn)以及接口實(shí)現(xiàn)的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-08-08
本文主要介紹了python計(jì)算質(zhì)數(shù)的6種方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-05-05
這篇文章主要介紹了Django之路由層的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
Pycharm如何設(shè)置默認(rèn)請(qǐng)求頭和切換python環(huán)境
這篇文章主要介紹了Pycharm如何設(shè)置默認(rèn)請(qǐng)求頭和切換python環(huán)境問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06