Python中struct模塊對字節(jié)流/二進(jìn)制流的操作教程

更新時間：2017年01月21日 14:25:29 作者：monitor1379

最近在學(xué)習(xí)python網(wǎng)絡(luò)編程這一塊，在寫簡單的socket通信代碼時，遇到了struct這個模塊的使用，當(dāng)時不太清楚這到底有和作用，后來查閱了相關(guān)資料大概了解了，這篇文章就主要介紹了Python中struct模塊對字節(jié)流/二進(jìn)制流的操作,需要的朋友可以參考借鑒。

前言

最近使用Python解析IDX文件格式的MNIST數(shù)據(jù)集，需要對二進(jìn)制文件進(jìn)行讀取操作，其中我使用的是struct模塊。查了網(wǎng)上挺多教程都寫的挺好的，不過對新手不是很友好，所以我重新整理了一些筆記以供快速上手。

注：教程中以下四個名詞同義：二進(jìn)制流、二進(jìn)制數(shù)組、字節(jié)流、字節(jié)數(shù)組

快速上手

在struct模塊中，將一個整型數(shù)字、浮點(diǎn)型數(shù)字或字符流（字符數(shù)組）轉(zhuǎn)換為字節(jié)流（字節(jié)數(shù)組）時，需要使用格式化字符串fmt告訴struct模塊被轉(zhuǎn)換的對象是什么類型，比如整型數(shù)字是'i'，浮點(diǎn)型數(shù)字是'f'，一個ascii碼字符是's'。

def demo1():
 # 使用bin_buf = struct.pack(fmt, buf)將buf為二進(jìn)制數(shù)組bin_buf
 # 使用buf = struct.unpack(fmt, bin_buf)將bin_buf二進(jìn)制數(shù)組反轉(zhuǎn)換回buf

 # 整型數(shù) -> 二進(jìn)制流
 buf1 = 256
 bin_buf1 = struct.pack('i', buf1) # 'i'代表'integer'
 ret1 = struct.unpack('i', bin_buf1)
 print bin_buf1, ' <====> ', ret1

 # 浮點(diǎn)數(shù) -> 二進(jìn)制流
 buf2 = 3.1415
 bin_buf2 = struct.pack('d', buf2) # 'd'代表'double'
 ret2 = struct.unpack('d', bin_buf2)
 print bin_buf2, ' <====> ', ret2

 # 字符串 -> 二進(jìn)制流
 buf3 = 'Hello World'
 bin_buf3 = struct.pack('11s', buf3) # '11s'代表長度為11的'string'字符數(shù)組
 ret3 = struct.unpack('11s', bin_buf3)
 print bin_buf3, ' <====> ', ret3

 # 結(jié)構(gòu)體 -> 二進(jìn)制流
 # 假設(shè)有一個結(jié)構(gòu)體
 # struct header {
 # int buf1;
 # double buf2;
 # char buf3[11];
 # }
 bin_buf_all = struct.pack('id11s', buf1, buf2, buf3)
 ret_all = struct.unpack('id11s', bin_buf_all)
 print bin_buf_all, ' <====> ', ret_all

輸出結(jié)果如下：

demo1輸出結(jié)果

詳解struct模塊

主要函數(shù)

struct模塊中最重要的三個函數(shù)是pack() , unpack() , calcsize()

# 按照給定的格式化字符串，把數(shù)據(jù)封裝成字符串(實(shí)際上是類似于c結(jié)構(gòu)體的字節(jié)流)
string = struct.pack(fmt, v1, v2, ...)

# 按照給定的格式(fmt)解析字節(jié)流string，返回解析出來的tuple
tuple = unpack(fmt, string)

# 計算給定的格式(fmt)占用多少字節(jié)的內(nèi)存
offset = calcsize(fmt)

struct中的格式化字符串

struct中支持的格式如下表：

Format	C Type	Python	字節(jié)數(shù)
x	pad byte	no value	1
c	char	string of length 1	1
b	signed char	integer	1
B	unsigned char	integer	1
?	_Bool	bool	1
h	short	integer	2
H	unsigned short	integer	2
i	int	integer	4
I	unsigned int	integer or lon	4
l	long	integer	4
L	unsigned long	long	4
q	long long	long	8
Q	unsigned long long	long	8
f	float	float	4
d	double	float	8
s	char[]	string	1
p	char[]	string	1
P	void *	long

注1：q和Q只在機(jī)器支持64位操作時有意思

注2：每個格式前可以有一個數(shù)字，表示個數(shù)

注3：s格式表示一定長度的字符串，4s表示長度為4的字符串，但是p表示的是pascal字符串

注4：P用來轉(zhuǎn)換一個指針，其長度和機(jī)器字長相關(guān)

注5：最后一個可以用來表示指針類型的，占4個字節(jié)

為了同c中的結(jié)構(gòu)體交換數(shù)據(jù)，還要考慮有的c或c++編譯器使用了字節(jié)對齊，通常是以4個字節(jié)為單位的32位系統(tǒng)，故而struct根據(jù)本地機(jī)器字節(jié)順序轉(zhuǎn)換.可以用格式中的第一個字符來改變對齊方式.定義如下：

Character	Byte order	Size and alignment
@	native	native 湊夠4個字節(jié)
=	native	standard 按原字節(jié)數(shù)
<	little-endian	standard 按原字節(jié)數(shù)
>	big-endian	standard 按原字節(jié)數(shù)
!	network (= big-endian)	standard 按原字節(jié)數(shù)