Python 二進(jìn)制字節(jié)流數(shù)據(jù)的讀取操作(bytes與bitstring)
最近項(xiàng)目有個(gè)需求,需要對(duì)二進(jìn)制文件讀取內(nèi)容,操作讀取到的字節(jié)流數(shù)據(jù),主要是查找與切片獲取內(nèi)容。這要求有兩個(gè)標(biāo)志,一個(gè)開始,一個(gè)結(jié)束,獲取中間的內(nèi)容。
Python 的 bytes 內(nèi)置了一些方法,但是卻不完美。在調(diào)查后,了解到 bitstring 這個(gè)第三方包,在對(duì)字節(jié)流數(shù)據(jù)的處理上,似乎更合適。
bytes
bytes:一種字符序列的類型。通過比較 dir(str) 與 dir(bytes) 可知,兩者的屬性與方法很相似,只有少數(shù)幾個(gè)不同。所以 bytes 也是可以像 string 一樣,對(duì)字節(jié)序列有各種操作方法,如查找(find),求長度(len),切割(split),切片等。
bytes 的優(yōu)點(diǎn)是:Python 內(nèi)置的方法,不需要的額外的安裝三方模塊。
但缺點(diǎn)也很明顯:只能單個(gè)查詢,不能一次查詢多個(gè)需要的結(jié)果。
首先通過 open 的 rb 模式打開文件,讀取內(nèi)容為 bytes 類型。查找特定字符串有 find() 方法,但是此方法只能找到第一個(gè)符合要求的字符串索引,并且給出的不是單個(gè)位的索引,而是 8 位一個(gè)字節(jié)的索引。當(dāng)需要查找多個(gè)符合的字符串,卻沒有內(nèi)置的 findall() 方法。如果要查詢多個(gè),過程會(huì)麻煩,首先查到第一個(gè)符合的索引 1,以此索引 1 為開始,查詢第二個(gè)符合的索引 2,以此類推,直到查詢結(jié)束。
with open(path, 'rb') as f:
datas = f.read()
start_char = datas.find(b'Start')
# start_char2 = datas.find(b'Start', start_char)
end_char = datas.find(b'End', start_char)
# end_char2 = datas.find(b'End', start_char2)
data = datas[start_char:end_char]
print(data)
注意上述代碼,start_char 和 end_char 會(huì)出現(xiàn)多次,次數(shù)并不一定會(huì)一樣,需要獲取兩個(gè)索引之間的內(nèi)容,但是既無法循環(huán),也不能一次查完。需要多次執(zhí)行已注釋的那行代碼,獲取關(guān)鍵字索引。由于不知道文件數(shù)據(jù)中會(huì)有多少個(gè)開始標(biāo)志,也就不知道執(zhí)行多少次,這應(yīng)該采用循環(huán)解決,但似乎沒有可供循環(huán)的變量。這使得問題更加復(fù)雜。
其次,由于是獲取兩個(gè)標(biāo)志之間的內(nèi)容,所以,以上過程需要執(zhí)行兩遍。因此過程更顯得繁雜無比。
因此,尋找新的方法,是完全必要的。
bitstring
bitstring 是一個(gè)三方包,以字節(jié)流形式讀取二進(jìn)制文件。
bitstring.py 文件的第一句話是:This package defines classes that simplify bit-wise creation, manipulation and interpretation of data.
翻譯如下:這個(gè)包定義的類簡化了數(shù)據(jù)的逐位創(chuàng)建、操作和解釋。
簡單理解就是,直接操作 bytes 類型的數(shù)據(jù)。
有主要的四個(gè)類,如下:
Bits -- An immutable container for binary data.
BitArray -- A mutable container for binary data.
ConstBitStream -- An immutable container with streaming methods.
BitStream -- A mutable container with streaming methods.
Bits -- 二進(jìn)制數(shù)據(jù)的不可變?nèi)萜鳌?br />BitArray -- 二進(jìn)制數(shù)據(jù)的可變?nèi)萜鳌?br />ConstBitStream -- 具有流方法的不可變?nèi)萜鳌?br />BitStream -- 具有流方法的可變?nèi)萜鳌?/p>
像 bytes 一樣,首先讀取文件內(nèi)容,查找關(guān)鍵字索引,切片獲取數(shù)據(jù)內(nèi)容。
# update at 2022/05/06 start
# from bistring import ConstBitStream, BitStream
from bitstring import ConstBitStream, BitStream
# update at 2022/05/06 end
hex_datas = ConstBitStream(filename=path) ?# 讀取文件內(nèi)容
start_char = b'Start'
start_chars = hex_datas.findall(start_char, bytealigned=True) ?# 一次找到全部符合的,返回一個(gè)生成器
start_indexs = []
for start_char in start_chars:
? ? start_indexs.append(start_char)
end_char = b'End'
end_indexs = []
for start_index in start_indexs:
? ? end_chars = hex_datas.find(end_char, start=start_index, bytealigned=True) ?# 找到第一個(gè)符合的,返回元組
? ? for end_char in end_chars:
? ? ? ? end_indexs.append(end_char)
result = []
for i in range(min(len(start_indexs), len(end_indexs))):
? ? hex_data = hex_datas[start_indexs[i]:end_indexs[i]]
? ? str_data = BitStream.tobytes(hex_data).decode('utf-8')
? ? result.append(str_data)代碼分析,首先導(dǎo)入需要的兩個(gè)類:ConstBitStream, BitStream。獲取文件內(nèi)容,findall() 查找所有符合的字符串索引,find() 查找第一個(gè)符合的字符串索引。取開始、結(jié)束兩個(gè)列表的較小值,切片獲取數(shù)據(jù),類型為 ‘bitstring.ConstBitStream’,BitStream.tobytes() 方法轉(zhuǎn)為 bytes 類型,中文字符會(huì)亂碼,所以再用 decode() 解碼,得到需要的字符串。
整個(gè)過程還是簡潔、連續(xù)。代碼中用到了 findall()、find()、tobytes() 方法。此外還有許多小細(xì)節(jié)需要注意,比如,start_indexs 如果為空,后續(xù)的代碼就不該執(zhí)行了,end_indexs 為空亦是如此。
由此可見,bitstring 這個(gè)包還是比較好用的。根據(jù)需求,用到的方法比較少,其實(shí)還有許多其他的方法,按需選擇。
到此這篇關(guān)于Python 二進(jìn)制字節(jié)流數(shù)據(jù)的讀取操作(bytes與bitstring)的文章就介紹到這了,更多相關(guān)Python 二進(jìn)制字節(jié)流讀取內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python基礎(chǔ) 括號(hào)()[]{}的詳解
這篇文章主要介紹了Python基礎(chǔ) 括號(hào)()、[]、{},下面文章將圍繞這三個(gè)括號(hào)的相關(guān)解析展開內(nèi)容,需要的朋友可以參考一下,洗碗粉對(duì)你有所幫助2021-11-11
python內(nèi)置函數(shù)之slice案例詳解
這篇文章主要介紹了python內(nèi)置函數(shù)之slice案例詳解,本篇文章通過簡要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-09-09
numba提升python運(yùn)行速度的實(shí)例方法
在本篇文章里小編給大家整理的是一篇關(guān)于numba提升python運(yùn)行速度的實(shí)例方法,有興趣的朋友們可以參考下。2021-01-01
基于Python實(shí)現(xiàn)二維圖像雙線性插值
雙線性插值,又稱為雙線性內(nèi)插。在數(shù)學(xué)上,雙線性插值是有兩個(gè)變量的插值函數(shù)的線性插值擴(kuò)展,其核心思想是在兩個(gè)方向分別進(jìn)行一次線性插值。本文將用Python實(shí)現(xiàn)二維圖像雙線性插值,感興趣的可以了解下2022-06-06
python結(jié)合多線程爬取英雄聯(lián)盟皮膚(原理分析)
多線程是為了同步完成多項(xiàng)任務(wù),不是為了提高運(yùn)行效率,而是為了提高資源使用效率來提高系統(tǒng)的效率。這篇文章主要介紹了python爬取英雄聯(lián)盟皮膚結(jié)合多線程的方法,需要的朋友可以參考下2021-05-05
python使用UDP實(shí)現(xiàn)客戶端和服務(wù)器對(duì)話
這篇文章主要為大家介紹了python使用UDP實(shí)現(xiàn)客戶端和服務(wù)器對(duì)話示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-03-03
python學(xué)習(xí)pymongo模塊的使用方法
這篇文章主要介紹了python學(xué)習(xí)pymongo模塊的使用方法,pymongo模塊是python操作mongo數(shù)據(jù)的第三方模塊,總結(jié)一下常用到的簡單用,需要的小伙伴可以參考一下2022-09-09
使用python檢測(cè)網(wǎng)頁文本內(nèi)容屏幕上的坐標(biāo)
在 Web 開發(fā)中,經(jīng)常需要對(duì)網(wǎng)頁上的文本內(nèi)容進(jìn)行處理和操作,有時(shí)候,我們可能需要知道某個(gè)特定文本在屏幕上的位置,以便進(jìn)行后續(xù)的操作,所以本文將介紹如何使用 Python 中的 Selenium 和 BeautifulSoup 庫來檢測(cè)網(wǎng)頁文本內(nèi)容在屏幕上的坐標(biāo),需要的朋友可以參考下2024-04-04

