python2和python3對(duì)于字符串的處理有很大的區(qū)別

熟悉了python2的寫(xiě)法用python3時(shí)真的會(huì)遇到很多問(wèn)題啊……

區(qū)別

python2中有一種類(lèi)型叫做unicode型，例

type(u"a") => str型
type("a".decode('utf8')) => unicode型

兩者返回的類(lèi)型都是unicode型

而在python3中，所有的字符串都是unicode，所以就不存在單獨(dú)的unicode型，全部都是字符串型

type(u"a") => str型
type("a".decode('utf8')) => 報(bào)錯(cuò)，python3不能這樣寫(xiě)

但是python3中多處一種字符串

type(b'132') => byte型

而在python2中這樣寫(xiě)就會(huì)報(bào)錯(cuò)

所以顯而易見(jiàn)，decode和encode的使用也會(huì)有很大的區(qū)別

python2中的decode是將str型轉(zhuǎn)換為unicode型

python3中的decode是將byte型轉(zhuǎn)換為str型

使用

在使用python3寫(xiě)爬蟲(chóng)時(shí)，有時(shí)候會(huì)遇到這樣的錯(cuò)誤

'gbk' codec can't encode character '\u30fb' in position 0: illegal multibyte sequence

遇到這樣的錯(cuò)誤就和上面的編碼問(wèn)題連系起來(lái)了

你會(huì)發(fā)現(xiàn)，明明自己設(shè)置的編碼是utf8，怎么會(huì)報(bào)一個(gè)gbk的錯(cuò)誤？？

這個(gè)問(wèn)題可能會(huì)在兩個(gè)地方出現(xiàn)(輸出時(shí)，寫(xiě)入文件時(shí))，其實(shí)這里設(shè)置的編碼并沒(méi)有問(wèn)題，問(wèn)題出在python3的字符串中，像上面說(shuō)的，python3默認(rèn)所有字符串都是unicode型，在面對(duì)字符串時(shí)，會(huì)首先按照unicode解析，自然會(huì)報(bào)錯(cuò)

那么，我們來(lái)轉(zhuǎn)換一下編碼(假設(shè)a是一個(gè)gbk編碼的數(shù)據(jù)流)

"a".decode('gbk')

將字符串按照gbk規(guī)則解碼

會(huì)發(fā)現(xiàn)依舊報(bào)錯(cuò)，明明已經(jīng)改為gbk了啊……不著急，再進(jìn)行一次

"a".decode('gbk').encode('utf8').decode('utf8')

為什么寫(xiě)的這么長(zhǎng)……就像上面說(shuō)的，decode是將byte型轉(zhuǎn)為str型，而encode是將str型轉(zhuǎn)換為byte型，所以再進(jìn)行一次encode，decode就能夠使得字符串轉(zhuǎn)換編碼格式

但是當(dāng)你輸出時(shí)，你會(huì)發(fā)現(xiàn)還是有問(wèn)題

解決

我們回到開(kāi)始

不輸出我們想要的字符串，發(fā)現(xiàn)沒(méi)有問(wèn)題……問(wèn)題出在哪？

沒(méi)錯(cuò)，是print()，print在輸出時(shí)會(huì)默認(rèn)其中的字符時(shí)unicode編碼的字符串，而我們輸入了一個(gè)gbk編碼的字符串，所以就會(huì)出錯(cuò)，所以，解決方法就是，不使用print……

但是print的使用有時(shí)候是不可避免的，所以在decode時(shí)加上一個(gè)ignore

"a".decode('gbk',errors='ignore')

此外，在打開(kāi)或?qū)懭胛募r(shí)遇到的話(huà)，就需要加上encoding參數(shù)

with open("1.txt",'r',encoding='utf8') as a:

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。