Python中使用asyncio 封裝文件讀寫(xiě)

更新時(shí)間：2016年09月11日 09:51:48 作者：liyiyang

本文主要給大家簡(jiǎn)單講解如何用 asyncio.Future 對(duì)象來(lái)封裝文件的異步讀寫(xiě)。有需要的小伙伴可以參考下

前言

和網(wǎng)絡(luò) IO 一樣，文件讀寫(xiě)同樣是一個(gè)費(fèi)事的操作。

默認(rèn)情況下，Python 使用的是系統(tǒng)的阻塞讀寫(xiě)。這意味著在 asyncio 中如果調(diào)用了

f = file('xx')
f.read()

會(huì)阻塞事件循環(huán)。

本篇簡(jiǎn)述如何用 asyncio.Future 對(duì)象來(lái)封裝文件的異步讀寫(xiě)。

代碼在 GitHub。目前僅支持 Linux。

阻塞和非阻塞

首先需要將文件的讀寫(xiě)改為非阻塞的形式。在非阻塞情況下，每次調(diào)用 read 都會(huì)立即返回，如果返回值為空，則意味著文件操作還未完成，反之則是讀取的文件內(nèi)容。

阻塞和非阻塞的切換與操作系統(tǒng)有關(guān)，所以本篇暫時(shí)只寫(xiě)了 Linux 版本。如果有過(guò) Unix 系統(tǒng)編程經(jīng)驗(yàn)，會(huì)發(fā)現(xiàn) Python 的操作是類似的。

flag = fcntl.fcntl(self.fd, fcntl.F_GETFL) 
if fcntl.fcntl(self.fd, fcntl.F_SETFL, flag | os.O_NONBLOCK) != 0: 
  raise OSError()

Future 對(duì)象

Future 對(duì)象類似 Javascript 中的 Promise 對(duì)象。它是一個(gè)占位符，其值會(huì)在將來(lái)被計(jì)算出來(lái)。我們可以使用

result = await future

在 future 得到值之后返回。而使用

future.set_result(xxx)

就可以設(shè)置 future 的值，也意味著 future 可以被返回了。await 操作符會(huì)自動(dòng)調(diào)用 future.result() 來(lái)得到值。

loop.call_soon

通過(guò) loop.call_soon 方法可以將一個(gè)函數(shù)插入到事件循環(huán)中。

至此，我們的異步文件讀寫(xiě)思路也就出來(lái)了。通過(guò) loop.call_soon 調(diào)用非阻塞讀寫(xiě)文件的函數(shù)。若一次文件讀寫(xiě)沒(méi)有完成，則計(jì)算剩余所學(xué)讀寫(xiě)的字節(jié)數(shù)，并再次插入事件循環(huán)直至讀寫(xiě)完畢。

可以發(fā)現(xiàn)其就是把傳統(tǒng) Unix 編程里，非阻塞文件讀寫(xiě)的 while 循環(huán)換成了 asyncio 的事件循環(huán)。

下面是這一過(guò)程的示意代碼。

def read_step(self, future, n, total):
  res = self.fd.read(n)
  if res is None:
    self.loop.call_soon(self.read_step, future, n, total)
    return
  if not res: # EOF
    future.set_result(bytes(self.rbuffer))
    return
  self.rbuffer.extend(res)
  self.loop.call_soon(self.read_step, future, self.BLOCK_SIZE, total)

def read(self, n=-1):
  future = asyncio.Future(loop=self.loop)

  self.rbuffer.clear()
  self.loop.call_soon(self.read_step, future, min(self.BLOCK_SIZE, n), n)

  return future

您可能感興趣的文章: