Python處理中文標點符號大集合

更新時間：2018年05月14日 10:31:30 投稿：mrr

中文文本中可能出現(xiàn)的標點符號來源比較復雜，通過匹配等手段對他們處理的時候需要格外小心，防止遺漏，下面小編給大家?guī)砹薖ython處理中文標點符號大集合，感興趣的朋友跟隨腳本之家小編一起看看吧

中文文本中可能出現(xiàn)的標點符號來源比較復雜，通過匹配等手段對他們處理的時候需要格外小心，防止遺漏。以下為在下處理中文標點的時候采用的兩種方法:

中文標點集合

比較常見標點有這些：

??？｡＂?！纾ィΓВǎ?，－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏.

調用zhon包的zhon.hanzi.punctuation函數(shù)即可得到這些中文標點。

如果想用英文的標點，則可調用string包的string.punctuation函數(shù)可得到：

!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~

因此，比如需要將所有標點符號去除，可以進行以下操作：

>>> import re
>>> from zhon.hanzo import punctuation
>>> line = "測試。。去除標點。。"
>>> print re.sub("[{}]+".format(punctuation), "", line.decode("utf-8")) # 需要將str轉換為unicode

當然，如果想去除重復的符號而只保留一個，那么可以用\1指明：比如

>>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8"))

你也可以手工指定這些標點符號

punctuation = """?。?#65377;＂?！纾ィΓВǎ?；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏"""
re_punctuation = "[{}]+".format(punctuation)
line = re.sub(re_punctuation, "", line)

可以通過直接指定unicode碼范圍的辦法來strip，比如:

去除所有半角全角符號，只留字母、數(shù)字、中文

def remove_punctuation(line):
  rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
  line = rule.sub('',line)
  return line

漢字的范圍為”\u4e00-\u9fa5“，這個是用Unicode表示的，所以前面必須要加”u“；字符”r“的意思是表示忽略后面的轉義字符，這樣簡化了后面正則表達式里每遇到一個轉義字符還得挨個轉義的麻煩

最后可以組合成為一個函數(shù)

def remove_punctuation(line, strip_all=True):
  if strip_all:
    rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
    line = rule.sub('',line)
  else:
    punctuation = """??？｡＂?！纾ィΓВǎ?；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏"""
    re_punctuation = "[{}]+".format(punctuation)
    line = re.sub(re_punctuation, "", line)
  return line.strip()

清洗完畢后，有時候我們希望按照多個標點符號來分割

比如只要遇到中文或英文的逗號和句號等符號就分割，可以直接用translate把這些符號翻譯為統(tǒng)一的分隔符，再split:

strip_chars = '？"。.，,《》[]〖〗“”'
single_line = single_line.translate(str.maketrans(dict.fromkeys(strip_chars, '#')))
single_line = single_line.split('#')

總結

以上所述是小編給大家介紹的Python處理中文標點符號大集合，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持！

您可能感興趣的文章:

Python實現(xiàn)對word文檔添加密碼去除密碼的示例代碼
這篇文章主要介紹了Python實現(xiàn)對word文檔添加密碼去除密碼，本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
2020-12-12
Python讀取配置文件-ConfigParser的二次封裝方法
這篇文章主要介紹了Python讀取配置文件-ConfigParser的二次封裝方法，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-02-02
python學習筆記之列表(list)與元組(tuple)詳解
List（列表）是Python中使用最頻繁的數(shù)據(jù)類型，而元組是另一個數(shù)據(jù)類型，類似于List（列表）。這篇文章主要給大家介紹了python學習筆記之列表(list)與元組(tuple)的相關資料，文中不僅詳細介紹了兩者的使用，還分享了list和tuple的相互轉換的方法，需要的朋友可以參考下
2017-11-11
python字符串拼接的7種方法及性能比較詳解
這篇文章主要介紹了python字符串拼接的7種方法詳解,需要的朋友可以參考下
2021-04-04
pandas對dataFrame中某一個列的數(shù)據(jù)進行處理的方法
這篇文章主要介紹了pandas對dataFrame中某一個列的數(shù)據(jù)進行處理的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-07-07
分析用Python腳本關閉文件操作的機制
這篇文章主要介紹了分析用Python腳本關閉文件操作的機制,作者分Python2.x版本和3.x版本兩種情況進行了闡述,需要的朋友可以參考下
2015-06-06
詳解python中init方法和隨機數(shù)方法
這篇文章主要介紹了python中init方法和隨機數(shù)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-03-03
Python Des加密解密如何實現(xiàn)軟件注冊碼機器碼
這篇文章主要介紹了Python Des加密解密如何實現(xiàn)軟件注冊碼機器碼,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-01-01
python實現(xiàn)二級登陸菜單及安裝過程
這篇文章主要介紹了python實現(xiàn)二級登陸菜單及安裝過程,，本文圖文并茂給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下
2019-06-06
Pandas數(shù)據(jù)集的分塊讀取的實現(xiàn)
本文主要介紹了Pandas數(shù)據(jù)集的分塊讀取的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2022-08-08