python爬蟲模擬瀏覽器訪問-User-Agent過程解析
更新時(shí)間：2019年12月28日 10:08:30 作者：故事的小黃花丶
這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
模擬瀏覽器訪問-User-Agent：
import urllib2
#User-Agent 模擬瀏覽器訪問
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
#通過urllib2.Request()方法構(gòu)造一個(gè)請求對象
request = urllib2.Request("http://www.baidu.com/",headers = headers)
#向指定的URL地址發(fā)送請求，并返回服務(wù)器響應(yīng)的類文件對象
#response是服務(wù)器響應(yīng)的類文件，除了支持文件操作的方法外，還支持以下常用的方法：
response = urllib2.urlopen(request)
#服務(wù)器返回的類文件對象支持python文件對象的操作方法
#read()方法就是讀取文件里的全部內(nèi)容，返回字符串
html = response.read()
#返回HTTP的響應(yīng)碼，成功返回200,4服務(wù)器頁面出錯(cuò)；5.服務(wù)器問題
print response.getcode()
#返回實(shí)際數(shù)據(jù)的實(shí)際URL，防止重定向問題
print response.geturl()
#返回服務(wù)器響應(yīng)的HTTP報(bào)頭
print response.info()
#打印響應(yīng)內(nèi)容
print(html)
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
今天小編就為大家分享一篇使用python繪制二維圖形示例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
有時(shí)候自己寫了一個(gè)py文件,想要把它導(dǎo)入到另一個(gè)py文件里面,所以下面這篇文章主要給大家介紹了關(guān)于Python如何導(dǎo)入自己編寫的py文件的相關(guān)資料,需要的朋友可以參考下2021-11-11
這篇文章主要分享了用python實(shí)現(xiàn)的一個(gè)通訊錄實(shí)例，學(xué)習(xí)python的朋友可以參考下2013-11-11
Python尋找兩個(gè)有序數(shù)組的中位數(shù)實(shí)例詳解
這篇文章主要介紹了Python尋找兩個(gè)有序數(shù)組的中位數(shù),本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2018-12-12
這篇文章主要介紹了Python使用ElementTree美化XML格式的操作，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
Python matplotlib畫圖時(shí)圖例說明(legend)放到圖像外側(cè)詳解
這篇文章主要介紹了Python matplotlib畫圖時(shí)圖例說明(legend)放到圖像外側(cè)詳解，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
深入探討Python中的內(nèi)置類屬性`__repr__`
在Python中,__repr__是一個(gè)特殊的內(nèi)置類屬性,用于定義類的字符串表示形式,本文將深入探討__repr__的作用、用法以及一些實(shí)際應(yīng)用場景,希望對大家有所幫助2023-12-12
這篇文章主要介紹了Python的內(nèi)存泄漏及gc模塊的使用分析,有助于讀者進(jìn)一步了解Python的內(nèi)存分配及回收機(jī)制,增強(qiáng)代碼編寫的安全意識,需要的朋友可以參考下2014-07-07
python文件夾分區(qū)的實(shí)現(xiàn)方法實(shí)例
這篇文章主要給大家介紹了關(guān)于python文件夾分區(qū)的實(shí)現(xiàn)方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
這篇文章是一篇關(guān)于python基礎(chǔ)知識內(nèi)容，主要講述了關(guān)于類的相關(guān)知識點(diǎn)，有興趣的朋友參考下。2018-06-06