判斷網(wǎng)頁(yè)編碼的方法python版
在web開(kāi)發(fā)的時(shí)候我們經(jīng)常會(huì)遇到網(wǎng)頁(yè)抓取和分析，各種語(yǔ)言都可以完成這個(gè)功能。我喜歡用python實(shí)現(xiàn)，因?yàn)閜ython提供了很多成熟的模塊，可以很方便的實(shí)現(xiàn)網(wǎng)頁(yè)抓取。
但是在抓取過(guò)程中會(huì)遇到編碼的問(wèn)題，那今天我們來(lái)看一下如何判斷網(wǎng)頁(yè)的編碼：
網(wǎng)上很多網(wǎng)頁(yè)的編碼格式都不一樣，大體上是GBK,GB2312，UTF-8等。
我們?cè)讷@取網(wǎng)頁(yè)的的數(shù)據(jù)后，先要對(duì)網(wǎng)頁(yè)的編碼進(jìn)行判斷，才能把抓取的內(nèi)容的編碼統(tǒng)一轉(zhuǎn)換為我們能夠處理的編碼，避免亂碼問(wèn)題的出現(xiàn)。
下面介紹兩種判斷網(wǎng)頁(yè)編碼的方法：
總結(jié)：第二個(gè)方法很準(zhǔn)確，在網(wǎng)頁(yè)編碼分析的時(shí)候用python模塊分析內(nèi)容是最準(zhǔn)確的，而使用分析meta頭信息的方法是不太準(zhǔn)確的。
方法一：使用urllib模塊的getparam方法
import urllib
#autor：pythontab.com
fopen1 = urllib.urlopen('http://www.baidu.com').info()
print fopen1.getparam('charset')# baidu
方法二：使用chardet模塊
#如果你的python沒(méi)有安裝chardet模塊，你需要首先安裝一下chardet判斷編碼的模塊哦
#author:pythontab.com
import chardet
import urllib
#先獲取網(wǎng)頁(yè)內(nèi)容
data1 = urllib.urlopen('http://www.baidu.com').read()
#用chardet進(jìn)行內(nèi)容分析
chardit1 = chardet.detect(data1)
print chardit1['encoding'] # baidu
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python參數(shù)傳遞對(duì)象的引用原理解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05
解決python 未發(fā)現(xiàn)數(shù)據(jù)源名稱(chēng)并且未指定默認(rèn)驅(qū)動(dòng)程序的問(wèn)題
今天小編就為大家分享一篇解決python 未發(fā)現(xiàn)數(shù)據(jù)源名稱(chēng)并且未指定默認(rèn)驅(qū)動(dòng)程序的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-12-12
使用pycharm+conda配置虛擬環(huán)境的詳細(xì)步驟
這篇文章主要介紹了使用pycharm創(chuàng)建新的項(xiàng)目環(huán)境并使用conda進(jìn)行配置和使用pycharm引用已有的conda虛擬環(huán)境,文中通過(guò)圖文結(jié)合的方式介紹的非常詳細(xì),需要的朋友可以參考下2024-05-05
python中sort和sorted排序的實(shí)例方法
在本篇文章中小編給大家?guī)?lái)的是關(guān)于python中sort和sorted排序的實(shí)例方法以及相關(guān)知識(shí)點(diǎn)，有需要的朋友們可以學(xué)習(xí)下。2019-08-08
django認(rèn)證系統(tǒng) Authentication使用詳解
這篇文章主要介紹了django認(rèn)證系統(tǒng) Authentication使用詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
使用Python實(shí)現(xiàn)更改Word文檔的頁(yè)面大小
頁(yè)面大小確定文檔中每個(gè)頁(yè)面的尺寸和布局,有時(shí)我們會(huì)需要自定義頁(yè)面大小以滿(mǎn)足特定要求,下面我們就來(lái)看看如何使用Python實(shí)現(xiàn)這一效果吧2024-03-03
使用Python實(shí)現(xiàn)屏幕截圖功能的詳細(xì)教程
Python使用ImageGrab截圖主要依賴(lài)于Pillow庫(kù)（PIL庫(kù)的一個(gè)分支）,該庫(kù)提供了ImageGrab模塊來(lái)實(shí)現(xiàn)屏幕截圖功能,以下是一個(gè)詳細(xì)的截圖教程,需要的朋友可以參考下2025-01-01
python2與python3爬蟲(chóng)中g(shù)et與post對(duì)比解析
這篇文章主要介紹了python2與python3爬蟲(chóng)中g(shù)et與post對(duì)比解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
python 中值濾波,椒鹽去噪,圖片增強(qiáng)實(shí)例
今天小編就為大家分享一篇python 中值濾波,椒鹽去噪,圖片增強(qiáng)實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
這篇文章主要介紹了python查看FTP是否能連接成功的方法,實(shí)例分析了Python連接FTP的相關(guān)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-07-07