python 獲取網(wǎng)頁(yè)編碼方式實(shí)現(xiàn)代碼
python 獲取網(wǎng)頁(yè)編碼方式實(shí)現(xiàn)代碼
<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);"> </span><span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);"> python開發(fā),自動(dòng)化獲取網(wǎng)頁(yè)編碼方式用到了chardet庫(kù),字符集檢測(cè),這個(gè)類在python2.7中沒(méi)有,需要在官網(wǎng)上下載。 這里我下載好了chardet-2.3.0.tar.gz壓縮包文件,只需要將壓縮包文件解壓后的chardet文件放到python安裝包下的 python27/lib/site-packages/下,就可以了。</span>
然后import chardet
下面寫了一個(gè)自動(dòng)化檢測(cè)的函數(shù)供檢測(cè)Url連接,然后返回網(wǎng)頁(yè)url的編碼方式。
import chardet #字符集檢測(cè) import urllib url="http://www.jd.com" def automatic_detect(url): content=urllib.urlopen(url).read() result=chardet.detect(content) encoding=result['encoding'] return encoding urls=['http://www.baidu.com','http://www.163.com','http://dangdang.com'] for url in urls: print url,automatic_detect(url)
上面用到了chardet類的detect方法,返回字典,然后取出編碼方式encoding
感謝閱讀,希望能幫助到大家,謝謝大家對(duì)本站的支持!
- Python3使用requests包抓取并保存網(wǎng)頁(yè)源碼的方法
- 深度剖析使用python抓取網(wǎng)頁(yè)正文的源碼
- Python解析網(wǎng)頁(yè)源代碼中的115網(wǎng)盤鏈接實(shí)例
- Python天氣預(yù)報(bào)采集器實(shí)現(xiàn)代碼(網(wǎng)頁(yè)爬蟲)
- Python urllib、urllib2、httplib抓取網(wǎng)頁(yè)代碼實(shí)例
- Python實(shí)現(xiàn)多線程抓取網(wǎng)頁(yè)功能實(shí)例詳解
- python3實(shí)現(xiàn)抓取網(wǎng)頁(yè)資源的 N 種方法
- Python正則抓取新聞標(biāo)題和鏈接的方法示例
- Python正則抓取網(wǎng)易新聞的方法示例
- Python使用正則表達(dá)式抓取網(wǎng)頁(yè)圖片的方法示例
- python訪問(wèn)抓取網(wǎng)頁(yè)常用命令總結(jié)
- Python實(shí)現(xiàn)的下載網(wǎng)頁(yè)源碼功能示例
相關(guān)文章
Python Numpy:找到list中的np.nan值方法
今天小編就為大家分享一篇Python Numpy:找到list中的np.nan值方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-10-10
python學(xué)習(xí)VSCode使用技巧帶你進(jìn)入高效開發(fā)模式
VsCode是一款開源的編輯器,擁有強(qiáng)大的功能,。由于擁有各種各樣的插件,這就使得VsCode可以做到的事情更多了。在使用的過(guò)程中,也是有很多技巧的,掌握一些技巧對(duì)于后期寫代碼也會(huì)輕松很多2021-09-09
Python中CSV文件(逗號(hào)分割)實(shí)戰(zhàn)操作指南
CSV文件默認(rèn)以英文逗號(hào)做為列分隔符,換行符作為行分隔符,下面這篇文章主要給大家介紹了關(guān)于Python中CSV文件(逗號(hào)分割)的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-07-07
django修改models重建數(shù)據(jù)庫(kù)的操作
這篇文章主要介紹了django修改models重建數(shù)據(jù)庫(kù)的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
matplotlib繪制折線圖的基本配置(萬(wàn)能模板案例)
折線圖可以很方便的看出數(shù)據(jù)的對(duì)比,本文主要介紹了matplotlib繪制折線圖的基本配置(萬(wàn)能模板案例),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-04-04
詳解如何在PyCharm控制臺(tái)中輸出彩色文字和背景
這篇文章主要介紹了詳解如何在PyCharm控制臺(tái)中輸出彩色文字和背景,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
Python3實(shí)現(xiàn)的反轉(zhuǎn)單鏈表算法示例
這篇文章主要介紹了Python3實(shí)現(xiàn)的反轉(zhuǎn)單鏈表算法,結(jié)合實(shí)例形式總結(jié)分析了Python基于迭代算法與遞歸算法實(shí)現(xiàn)的翻轉(zhuǎn)單鏈表相關(guān)操作技巧,需要的朋友可以參考下2019-03-03
使用Python開發(fā)windows GUI程序入門實(shí)例
這篇文章主要介紹了使用Python開發(fā)windows GUI程序入門實(shí)例,本文著重介紹開發(fā)環(huán)境必須的軟件,代碼實(shí)現(xiàn)相對(duì)簡(jiǎn)單,需要的朋友可以參考下2014-10-10

