Python使用struct處理二進制的實例詳解

有的時候需要用python處理二進制數(shù)據(jù)，比如，存取文件，socket操作時.這時候，可以使用python的struct模塊來完成.可以用 struct來處理c語言中的結(jié)構(gòu)體. 

• struct模塊中最重要的三個函數(shù)是pack(), unpack(), calcsize()
• pack(fmt, v1, v2, ...)     按照給定的格式(fmt)，把數(shù)據(jù)封裝成字符串(實際上是類似于c結(jié)構(gòu)體的字節(jié)流)
• unpack(fmt, string)       按照給定的格式(fmt)解析字節(jié)流string，返回解析出來的tuple
• calcsize(fmt)                 計算給定的格式(fmt)占用多少字節(jié)的內(nèi)存 
  

struct中支持的格式如下表：

注1.q和Q只在機器支持64位操作時有意思
注2.每個格式前可以有一個數(shù)字，表示個數(shù)
注3.s格式表示一定長度的字符串，4s表示長度為4的字符串，但是p表示的是pascal字符串
注4.P用來轉(zhuǎn)換一個指針，其長度和機器字長相關(guān)
注5.最后一個可以用來表示指針類型的，占4個字節(jié)

為了同c中的結(jié)構(gòu)體交換數(shù)據(jù)，還要考慮有的c或c++編譯器使用了字節(jié)對齊，通常是以4個字節(jié)為單位的32位系統(tǒng)，故而struct根據(jù)本地機器字節(jié)順序轉(zhuǎn)換.可以用格式中的第一個字符來改變對齊方式.定義如下：

使用方法是放在fmt的第一個位置，就像'@5s6sif' 

示例一：

比如有一個結(jié)構(gòu)體

struct Header
{
  unsigned short id;
  char[4] tag;
  unsigned int version;
  unsigned int count;
}

通過socket.recv接收到了一個上面的結(jié)構(gòu)體數(shù)據(jù)，存在字符串s中，現(xiàn)在需要把它解析出來，可以使用unpack()函數(shù).

import struct id, tag, version, count = struct.unpack("!H4s2I", s)

上面的格式字符串中，!表示我們要使用網(wǎng)絡(luò)字節(jié)順序解析，因為我們的數(shù)據(jù)是從網(wǎng)絡(luò)中接收到的，在網(wǎng)絡(luò)上傳送的時候它是網(wǎng)絡(luò)字節(jié)順序的.后面的H表示 一個unsigned short的id,4s表示4字節(jié)長的字符串，2I表示有兩個unsigned int類型的數(shù)據(jù).

就通過一個unpack，現(xiàn)在id, tag, version, count里已經(jīng)保存好我們的信息了.

同樣，也可以很方便的把本地數(shù)據(jù)再pack成struct格式.

ss = struct.pack("!H4s2I", id, tag, version, count);

pack函數(shù)就把id, tag, version, count按照指定的格式轉(zhuǎn)換成了結(jié)構(gòu)體Header，ss現(xiàn)在是一個字符串(實際上是類似于c結(jié)構(gòu)體的字節(jié)流)，可以通過 socket.send(ss)把這個字符串發(fā)送出去.

示例二：

import struct
a=12.34
#將a變?yōu)槎M制
bytes=struct.pack('i',a)

此時bytes就是一個string字符串，字符串按字節(jié)同a的二進制存儲內(nèi)容相同。

再進行反操作

現(xiàn)有二進制數(shù)據(jù)bytes，（其實就是字符串），將它反過來轉(zhuǎn)換成python的數(shù)據(jù)類型：

a,=struct.unpack('i',bytes)

注意，unpack返回的是tuple

所以如果只有一個變量的話：

bytes=struct.pack('i',a)

那么，解碼的時候需要這樣

a,=struct.unpack('i',bytes) 或者 (a,)=struct.unpack('i',bytes)

如果直接用a=struct.unpack('i',bytes)，那么 a=(12.34,) ，是一個tuple而不是原來的浮點數(shù)了。

如果是由多個數(shù)據(jù)構(gòu)成的，可以這樣：

a='hello'
b='world!'
c=2
d=45.123
bytes=struct.pack('5s6sif',a,b,c,d)

此時的bytes就是二進制形式的數(shù)據(jù)了，可以直接寫入文件比如 binfile.write(bytes)

然后，當我們需要時可以再讀出來，bytes=binfile.read()

再通過struct.unpack()解碼成python變量

a,b,c,d=struct.unpack('5s6sif',bytes)

'5s6sif'這個叫做fmt，就是格式化字符串，由數(shù)字加字符構(gòu)成，5s表示占5個字符的字符串，2i，表示2個整數(shù)等等，下面是可用的字符及類型，ctype表示可以與python中的類型一一對應(yīng)。

注意：二進制文件處理時會碰到的問題

我們使用處理二進制文件時，需要用如下方法

binfile=open(filepath,'rb')  讀二進制文件

binfile=open(filepath,'wb')  寫二進制文件

那么和binfile=open(filepath,'r')的結(jié)果到底有何不同呢？

不同之處有兩個地方：

第一，使用'r'的時候如果碰到'0x1A'，就會視為文件結(jié)束，這就是EOF。使用'rb'則不存在這個問題。即，如果你用二進制寫入再用文本讀出的話，如果其中存在'0X1A'，就只會讀出文件的一部分。使用'rb'的時候會一直讀到文件末尾。

第二，對于字符串x='abc\ndef'，我們可用len(x)得到它的長度為7，\n我們稱之為換行符，實際上是'0X0A'。當我們用'w'即文本方式寫的時候，在windows平臺上會自動將'0X0A'變成兩個字符'0X0D'，'0X0A'，即文件長度實際上變成8.。當用'r'文本方式讀取時，又自動的轉(zhuǎn)換成原來的換行符。如果換成'wb'二進制方式來寫的話，則會保持一個字符不變，讀取時也是原樣讀取。所以如果用文本方式寫入，用二進制方式讀取的話，就要考慮這多出的一個字節(jié)了。'0X0D'又稱回車符。linux下不會變。因為linux只使用'0X0A'來表示換行。

 如有疑問請留言或者到本站社區(qū)交流討論，感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！