Python中的字符串操作和編碼Unicode詳解

更新時(shí)間：2017年01月18日 11:14:52 作者：jessonsh

其實(shí)字符串也是一種數(shù)據(jù)類型，但是，字符串比較特殊的是還有一個(gè)編碼問(wèn)題。下面這篇文章主要給大家介紹了Python中的字符串操作和編碼Unicode詳解的相關(guān)資料,需要的朋友可以參考借鑒，下面來(lái)一起看看吧。

本文主要給大家介紹了關(guān)于 Python中的字符串操作和編碼Unicode的一些知識(shí)，下面話不多說(shuō)，需要的朋友們下面來(lái)一起學(xué)習(xí)吧。

字符串類型

str：Unicode字符串。采用''或者r''構(gòu)造的字符串均為str，單引號(hào)可以用雙引號(hào)或者三引號(hào)來(lái)代替。無(wú)論用哪種方式進(jìn)行制定，在Python內(nèi)部存儲(chǔ)時(shí)沒(méi)有區(qū)別。

bytes：二進(jìn)制字符串。由于jpg等其他格式的文件不能用str進(jìn)行顯示，所以才用bytes來(lái)表示，bytes的每個(gè)字節(jié)為一個(gè)0-255的數(shù)字。如果打印的時(shí)候，Python會(huì)把能夠用ASCII表示的部分顯示為ASCII，這樣方便閱讀。bytes幾乎支持除了格式化以外的所有str的方法，甚至包括了re模塊

bytearray() ：二進(jìn)制可原地變動(dòng)的字符串。

utf-8編碼范圍

范圍	字節(jié)數(shù)	存儲(chǔ)格式
0x0000~0x007F (0 ~ 127)	1字節(jié)	0xxxxxxx
0x0080~0x07FF(128 ~ 2047)	2字節(jié)	110xxxxx 10xxxxxx
0x0800~FFFF(2048 ~ 65535)	3字節(jié)	1110xxxx 10xxxxxx 10xxxxxx
0x10000~1FFFFFF(65536 ~ 2097152)	4字節(jié)	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
0x2000000~0x3FFFFFF	5字節(jié)	111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
0x4000000~0x7FFFFFFF)	6字節(jié)	1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

字節(jié)順序標(biāo)記BOM

BOM是byte order marker的縮寫，

指定編碼寫入時(shí)的規(guī)則

Python在使用'utf-8'編碼寫入文件時(shí)不會(huì)寫入BOM頭，但是如果指定編碼'utf-8-sig'則會(huì)迫使Python寫入一個(gè)BOM頭。

使用'utf-16-be'不會(huì)寫入一個(gè)BOM頭，但是采用'utf-16'則會(huì)寫入一個(gè)BOM頭。

>>> open('h.txt','w',encoding='utf-8-sig').write('aaa')
3
>>> open('h.txt','rb').read()
b'\xef\xbb\xbfaaa'
>>> open('h.txt','w',encoding='utf-16').write('bbb')
3
>>> open('h.txt','rb').read()
b'\xff\xfeb\x00b\x00b\x00'
>>> open('hh.txt','w',encoding='utf-16-be').write('ccc')
3
>>> open('hh.txt','rb').read()
b'\x00c\x00c\x00c'
>>> open('h.txt','w',encoding='utf-8').write('ddd')
3
>>> open('h.txt','rb').read()
b'ddd'

讀取時(shí)的規(guī)則

如果指定了正確的編碼，那么BOM會(huì)忽略，否則BOM會(huì)顯示為亂碼或者返回異常。

>>> open('h.txt','r').read()
'锘縟dd'
>>> open('h.txt','r',encoding='utf-8-sig').read()
'ddd'

編碼與解碼

chr和ord

>>> ord('中') #20013
>>> chr(20013) #'中'

把Unicode硬編碼進(jìn)字符串中。

'\xhh'：用2位十六進(jìn)制來(lái)表示一個(gè)字符

'\uhhhh'：用4位十六進(jìn)制來(lái)表示一個(gè)字符：

'\Uhhhhhhhh'：用8位十六進(jìn)制來(lái)表示一個(gè)字符

>>> s = 'py\x74h\u4e2don' #'pyth中on'

str和bytes， bytearray進(jìn)行轉(zhuǎn)換

str.encode(encoding='utf-8')

bytes(s,encoding='utf-8')

bytes.decode(encoding='utf-8')

str(B, encoding='utf-8')

bytearray(string, encoding='utf-8')

bytearray(bytes)

文檔編碼聲明

Python默認(rèn)使用utf-8編碼。

# -*- coding: latin-1 -*- ：表示聲明文檔為latin-1編碼。

幫助函數(shù)

sys.platform  #'win32'
sys.getdefaultencoding() # 'utf-8'
sys.byteorder  #'little'
s.isalnum()  #s表示字符串
s.isalpha()
s.isdecimal
s.isdigit()
s.isnumeric()
s.isprintable()
s.isspace()
s.isidentifier() #如果字符串可以用作變量名，那么返回True
s.islower()
s.isupper()
s.istitle()

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，如果有疑問(wèn)大家可以留言交流。

您可能感興趣的文章: