python使用自定義user-agent抓取網(wǎng)頁(yè)的方法
更新時(shí)間：2015年04月15日 11:43:56 作者：令狐不聰
這篇文章主要介紹了python使用自定義user-agent抓取網(wǎng)頁(yè)的方法,涉及Python使用urllib2模塊操作網(wǎng)頁(yè)的技巧,需要的朋友可以參考下
本文實(shí)例講述了python使用自定義user-agent抓取網(wǎng)頁(yè)的方法。分享給大家供大家參考。具體如下：
下面python代碼通過(guò)urllib2抓取指定的url的內(nèi)容，并且使用自定義的user-agent，可防止網(wǎng)站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
python 利用pyttsx3文字轉(zhuǎn)語(yǔ)音過(guò)程詳解
這篇文章主要介紹了python 利用pyttsx3文字轉(zhuǎn)語(yǔ)音過(guò)程詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
python用BeautifulSoup庫(kù)簡(jiǎn)單爬蟲(chóng)實(shí)例分析
文章給大家分享了關(guān)于python爬蟲(chóng)的相關(guān)實(shí)例以及相關(guān)代碼，有興趣的朋友們參考下。2018-07-07
使用python將mdb數(shù)據(jù)庫(kù)文件導(dǎo)入postgresql數(shù)據(jù)庫(kù)示例
mdb格式文件可以通過(guò)mdbtools工具將內(nèi)中包含的每張表導(dǎo)出到csv格式文件。由于access數(shù)據(jù)庫(kù)和postgresQL數(shù)據(jù)庫(kù)格式上會(huì)存在不通性，所以使用python的文件處理，將所得csv文件修改成正確、能識(shí)別的格式2014-02-02
Pytorch 實(shí)現(xiàn)focal_loss 多類(lèi)別和二分類(lèi)示例
今天小編就為大家分享一篇Pytorch 實(shí)現(xiàn)focal_loss 多類(lèi)別和二分類(lèi)示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01
Python RuntimeError: thread.__init__() not called解決方法
這篇文章主要介紹了Python RuntimeError: thread.__init__() not called解決方法,需要的朋友可以參考下2015-04-04
pytorch創(chuàng)建tensor函數(shù)詳情
這篇文章主要介紹了pytorch創(chuàng)建tensor函數(shù)詳情，文章圍繞tensor函數(shù)的相關(guān)自來(lái)哦展開(kāi)詳細(xì)內(nèi)容的介紹，需要的小伙伴可以參考一下，希望對(duì)你有所幫助2022-03-03
從零學(xué)python系列之新版本導(dǎo)入httplib模塊報(bào)ImportError解決方案
在使用新版python打開(kāi)舊版本代碼的時(shí)候，可能會(huì)有些報(bào)錯(cuò)或者不兼容的情況出現(xiàn)，今天我們就來(lái)分析其中的一種情況2014-05-05
本文主要介紹了全面理解python命名空間字典,python的命名空間由字典實(shí)現(xiàn),屬性為鍵,對(duì)象為值,通過(guò)屬性找到對(duì)象,下面就來(lái)具體了解一下,感興趣的可以了解一下2023-12-12
這篇文章主要介紹了使用python實(shí)現(xiàn)三維圖可視化，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-04-04
Python中使用MELIAE分析程序內(nèi)存占用實(shí)例
這篇文章主要介紹了Python中使用MELIAE分析程序內(nèi)存占用實(shí)例,本文直接給出使用代碼示例,需要的朋友可以參考下2015-02-02