Python中文分詞工具之結巴分詞用法實例總結【經(jīng)典案例】

更新時間：2017年04月15日 10:27:00 作者：捂汗縣長

這篇文章主要介紹了Python中文分詞工具之結巴分詞用法,結合實例形式總結分析了Python針對中文文件的讀取與分詞操作過程中遇到的問題與解決方法,需要的朋友可以參考下

本文實例講述了Python中文分詞工具之結巴分詞用法。分享給大家供大家參考，具體如下：

結巴分詞工具的安裝及基本用法，前面的文章《Python結巴中文分詞工具使用過程中遇到的問題及解決方法》中已經(jīng)有所描述。這里要說的內容與實際應用更貼近——從文本中讀取中文信息，利用結巴分詞工具進行分詞及詞性標注。

示例代碼如下：

#coding=utf-8
import jieba
import jieba.posseg as pseg
import time
t1=time.time()
f=open("t_with_splitter.txt","r") #讀取文本
string=f.read().decode("utf-8")
words = pseg.cut(string) #進行分詞
result="" #記錄最終結果的變量
for w in words:
   result+= str(w.word)+"/"+str(w.flag) #加詞性標注
f=open("t_with_POS_tag.txt","w") #將結果保存到另一個文檔中
f.write(result)
f.close()
t2=time.time()
print("分詞及詞性標注完成，耗時："+str(t2-t1)+"秒。") #反饋結果

其中t_with_splitter.txt文件內容如下：

腳本之家是國內專業(yè)的網(wǎng)站建設資源、腳本編程學習類網(wǎng)站，提供asp、php、asp.net、javascript、jquery、vbscript、dos批處理、網(wǎng)頁制作、網(wǎng)絡編程、網(wǎng)站建設等編程資料。

Python2.7.9平臺運行后出現(xiàn)如下圖所示的錯誤提示：

查閱相關資料后發(fā)現(xiàn)，需要在開頭加上：

import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

最終代碼應為：

#coding=utf-8
import jieba
import jieba.posseg as pseg
import time
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
t1=time.time()
f=open("t_with_splitter.txt","r") #讀取文本
string=f.read().decode("utf-8")
words = pseg.cut(string) #進行分詞
result="" #記錄最終結果的變量
for w in words:
   result+= str(w.word)+"/"+str(w.flag) #加詞性標注
f=open("t_with_POS_tag.txt","w") #將結果保存到另一個文檔中
f.write(result)
f.close()
t2=time.time()
print("分詞及詞性標注完成，耗時："+str(t2-t1)+"秒。") #反饋結果

運行成功：

Editplus打開t_with_POS_tag.txt文件如下圖所示：

更多關于Python相關內容可查看本站專題：《Python字典操作技巧匯總》、《Python字符串操作技巧匯總》、《Python常用遍歷技巧總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》及《Python入門與進階經(jīng)典教程》

希望本文所述對大家Python程序設計有所幫助。

您可能感興趣的文章:

python文件及目錄操作代碼匯總
這篇文章主要介紹了python文件及目錄操作代碼匯總,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-07-07
Python淺析生成器generator的使用
生成器generator在循環(huán)過程中，按照某種算法推算數(shù)據(jù)，不必創(chuàng)建容器存儲完整的結果，從而節(jié)省內存空間。數(shù)據(jù)量越大，優(yōu)勢越明顯。以上作用也稱之為延遲操作或惰性操作，通俗的講就是在需要的時候才計算結果，而不是一次構建出所有結果
2022-07-07
python獲取http請求響應頭headers中的數(shù)據(jù)的示例
這篇文章主要介紹了python獲取http請求響應頭headers中的數(shù)據(jù)，本文通過示例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
2022-02-02
Python3之外部文件調用Django程序操作model等文件實現(xiàn)方式
這篇文章主要介紹了Python3之外部文件調用Django程序操作model等文件實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-04-04
pycharm中:OSError:[WinError?1455]頁面文件太小無法完成操作問題的多種解決方法
這篇文章主要給大家介紹了關于pycharm中:OSError:[WinError?1455]頁面文件太小無法完成操作問題的多種徹底解決方法,文中通過圖文介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2023-02-02
使用npy轉image圖像并保存的實例
這篇文章主要介紹了使用npy轉image圖像并保存的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-07-07
Python使用日志模塊快速調試代碼并記錄異常信息
本文詳細介紹了Python logging日志模塊的使用方法，包括如何在代碼中使用logging記錄調試信息、如何設置日志級別、如何記錄異常信息等。通過本文的指南，讀者可以快速學會如何使用logging模塊進行調試，并保留有用的日志信息，便于后續(xù)排查問題和優(yōu)化代碼
2023-04-04
python誤差棒圖errorbar()函數(shù)實例解析
這篇文章主要介紹了python誤差棒圖errorbar()函數(shù)實例解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-02-02
一文詳解Python中Reduce函數(shù)輕松解決復雜數(shù)據(jù)聚合
這篇文章主要為大家介紹了Python中Reduce函數(shù)輕松解決復雜數(shù)據(jù)聚合示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
2023-08-08
定位python內存泄漏問題及解決
這篇文章主要介紹了定位python內存泄漏問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-11-11