python字符串編碼識別模塊chardet簡單應(yīng)用

更新時間：2015年06月15日 08:55:26 投稿：hebedich

有時候需要先檢測一個文件的編碼，然后將其轉(zhuǎn)化為另一種編碼。這時候就會用到chardet（chardet是python的一個第三方庫，是非常優(yōu)秀的編碼識別模塊）

python的字符串編碼識別模塊（第三方庫）：

官方地址： http://pypi.python.org/pypi/chardet

 
import chardet
import urllib
 
# 可根據(jù)需要，選擇不同的數(shù)據(jù)
TestData = urllib.urlopen('http://www.baidu.com/').read()
print chardet.detect(TestData)
 
# 運(yùn)行結(jié)果：
# {'confidence': 0.99, 'encoding': 'GB2312'}
運(yùn)行結(jié)果表示有99%的概率認(rèn)為這段代碼是GB2312編碼方式。
 
import urllib
from chardet.universaldetector import UniversalDetector
usock = urllib.urlopen('http://www.baidu.com/')
# 創(chuàng)建一個檢測對象
detector = UniversalDetector()
for line in usock.readlines():
# 分塊進(jìn)行測試，直到達(dá)到閾值
detector.feed(line)
if detector.done: break
# 關(guān)閉檢測對象
detector.close()
usock.close()
# 輸出檢測結(jié)果
print detector.result
 
# 運(yùn)行結(jié)果：
# {'confidence': 0.99, 'encoding': 'GB2312'}

應(yīng)用背景，如果要對一個大文件進(jìn)行編碼識別，使用這種高級的方法，可以只讀一部，去判別編碼方式從而提高檢測速度。如果希望使用一個檢測對象檢測多個數(shù)據(jù)，在每次檢測完，一定要運(yùn)行一下detector.reset()。清除之前的數(shù)據(jù)。

以上所述就是本文的全部內(nèi)容了，希望大家能夠喜歡。

您可能感興趣的文章:

相關(guān)文章

python相似模塊用例
這篇文章主要為大家詳細(xì)介紹了python相似模塊用例，感興趣的小伙伴們可以參考一下
2016-03-03
python使用Paramiko模塊實現(xiàn)遠(yuǎn)程文件拷貝
這篇文章主要為大家詳細(xì)介紹了python使用Paramiko模塊實現(xiàn)遠(yuǎn)程文件拷貝，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2019-04-04
python實現(xiàn)滑雪游戲
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)滑雪游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2020-02-02
Python開發(fā)常用五種循環(huán)方式的場景性能比較
Python是一門高級編程語言，其擁有多種循環(huán)方式，如for循環(huán)、while循環(huán)、do-while循環(huán)等。本文將逐個分析Python所有的循環(huán)執(zhí)行效率和適用場景，需要的可以參考一下
2023-04-04
Python程序員鮮為人知但你應(yīng)該知道的17個問題
這篇文章主要介紹了Python程序員代碼編寫時應(yīng)該避免的17個“坑”,也可以說成Python程序員代碼編寫時應(yīng)該避免的17個問題,需要的朋友可以參考下
2014-06-06
Python利用 matplotlib 繪制直方圖
這篇文章主要介紹了Python利用 matplotlib 模塊繪制直方圖相關(guān)屬性和方法，具有一定的參考價值,需要的朋友可以參考一下
2021-12-12
Python TensorFlow 2.6獲取MNIST數(shù)據(jù)的示例代碼
這篇文章主要介紹了Python TensorFlow 2.6獲取MNIST數(shù)據(jù)的的相關(guān)示例,文中有詳細(xì)的代碼示例供大家參考,對大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下
2024-04-04
Python中迭代器與生成器的用法
這篇文章介紹了Python中迭代器與生成器的用法，文中通過示例代碼介紹的非常詳細(xì)。對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2022-05-05
Python實現(xiàn)簡單狀態(tài)框架的方法
這篇文章主要介紹了Python實現(xiàn)簡單狀態(tài)框架的方法,涉及Python狀態(tài)框架的實現(xiàn)技巧,具有一定參考借鑒價值,需要的朋友可以參考下
2015-03-03
Python檢測兩個文本文件相似性的三種方法
檢測兩個文本文件的相似性是一個常見的任務(wù),可以用于文本去重、抄襲檢測等場景,Python 提供了多種方法來實現(xiàn)這一功能,x下面小編就來簡單介紹一下吧
2025-03-03