前言

在前文《文件IO操作的一些最佳實踐》中，我介紹了一些 Java 中常見的文件操作的接口，并且就 PageCache 和 DIrect IO 進行了探討，最近我自己封裝了一個 Direct IO 的庫，趁著這個機會，本文重點談談 Java 中 Direct IO 的意義，以及簡單介紹下我自己的輪子。

Java 中的 Direct IO

如果你閱讀過我之前的文章，應該已經(jīng)了解 Java 中常用的文件操作接口為：FileChannel，并且沒有直接操作 Direct IO 的接口。這也就意味著 Java 無法繞開 PageCache 直接對存儲設備進行讀寫，但對于使用 Java 語言來編寫的數(shù)據(jù)庫，消息隊列等產(chǎn)品而言，的確存在繞開 PageCache 的需求：

• PageCache 屬于操作系統(tǒng)層面的概念，用戶層面很難干預，User BufferCache 顯然比 Kernel PageCache 要可控
• 現(xiàn)代操作系統(tǒng)會使用盡可能多的空閑內(nèi)存來充當 PageCache，當操作系統(tǒng)回收 PageCache 內(nèi)存的速度低于應用寫緩存的速度時，會影響磁盤寫入的速率，直接表現(xiàn)為寫入 RT 增大，這被稱之為“毛刺現(xiàn)象”

PageCache 可能會好心辦壞事，采用 Direct IO + 自定義內(nèi)存管理機制會使得產(chǎn)品更加的可控，高性能。

Direct IO 的限制

在 Java 中使用 Direct IO 最終需要調(diào)用到 c 語言的 pwrite 接口，并設置 O_DIRECT flag，使用 O_DIRECT 存在不少限制

• 操作系統(tǒng)限制：Linux 操作系統(tǒng)在 2.4.10 及以后的版本中支持 O_DIRECT flag，老版本會忽略該 Flag；Mac OS 也有類似于 O_DIRECT 的機制
• 用于傳遞數(shù)據(jù)的緩沖區(qū)，其內(nèi)存邊界必須對齊為 blockSize 的整數(shù)倍
• 用于傳遞數(shù)據(jù)的緩沖區(qū)，其傳遞數(shù)據(jù)的大小必須是 blockSize 的整數(shù)倍。
• 數(shù)據(jù)傳輸?shù)拈_始點，即文件和設備的偏移量，必須是 blockSize 的整數(shù)倍

查看系統(tǒng) blockSize 大小的方式：stat /boot/|grep “IO Block”

ubuntu@VM-30-130-ubuntu:~$ stat /boot/|grep “IO Block”
Size: 4096 Blocks: 8 IO Block: 4096 directory

通常為 4kb

Java 使用 Direct IO

項目地址

https://github.com/lexburner/kdio

引入依賴

<dependency>
 <groupId>moe.cnkirito.kdio</groupId>
 <artifactId>kdio-core</artifactId>
 <version>1.0.0</version>
</dependency>

注意事項

// file path should be specific since the different file path determine whether your system support direct io
public static DirectIOLib directIOLib = DirectIOLib.getLibForPath("/");
// you should always write into your disk the Integer-Multiple of block size through direct io.
// in most system, the block size is 4kb
private static final int BLOCK_SIZE = 4 * 1024;

Direct IO 寫

private static void write() throws IOException {
 if (DirectIOLib.binit) {
  ByteBuffer byteBuffer = DirectIOUtils.allocateForDirectIO(directIOLib, 4 * BLOCK_SIZE);
  for (int i = 0; i < BLOCK_SIZE; i++) {
   byteBuffer.putInt(i);
  }
  byteBuffer.flip();
  DirectRandomAccessFile directRandomAccessFile = new DirectRandomAccessFile(new File("./database.data"), "rw");
  directRandomAccessFile.write(byteBuffer, 0);
 } else {
  throw new RuntimeException("your system do not support direct io");
 }
}

Direct IO 讀

public static void read() throws IOException {
 if (DirectIOLib.binit) {
  ByteBuffer byteBuffer = DirectIOUtils.allocateForDirectIO(directIOLib, 4 * BLOCK_SIZE);
  DirectRandomAccessFile directRandomAccessFile = new DirectRandomAccessFile(new File("./database.data"), "rw");
  directRandomAccessFile.read(byteBuffer, 0);
  byteBuffer.flip();
  for (int i = 0; i < BLOCK_SIZE; i++) {
   System.out.print(byteBuffer.getInt() + " ");
  }
 } else {
  throw new RuntimeException("your system do not support direct io");
 }
}

主要 API

• DirectIOLib.java 提供 Native 的 pwrite 和 pread
• DirectIOUtils.java 提供工具類方法，比如分配 Block 對齊的 ByteBuffer
• DirectChannel/DirectChannelImpl.java 提供對 fd 的 Direct 包裝，提供類似 FileChannel 的讀寫 API。
• DirectRandomAccessFile.java 通過 DIO 的方式打開文件，并暴露 IO 接口。

總結

這個簡單的 Direct IO 框架參考了smacke/jaydio，這個庫自己搞了一套 Buffer 接口跟 JDK 的類庫不兼容，且讀寫實現(xiàn)里面加了一塊 Buffer 用于緩存內(nèi)容至 Block 對齊有點 Direct IO 的語義。同時，感謝塵央同學的指導，這個小輪子的代碼量并不多，初始代碼引用自他的一個小 demo（已獲得本人授權）。為什么需要這么一個庫？主要是考慮后續(xù)會出現(xiàn)像「中間件性能挑戰(zhàn)賽」和「PolarDB性能挑戰(zhàn)賽」這樣的比賽，Java 本身的 API 可能不足以發(fā)揮其優(yōu)勢，如果有一個庫可以屏蔽掉 Java 和 CPP 選手的差距，豈不是美哉？我也將這個庫發(fā)到了中央倉庫，方便大家在自己的代碼中引用。

后續(xù)會視需求，會這個小小的輪子增加注入 fadvise，mmap 等系統(tǒng)調(diào)用的映射，也歡迎對文件操作感興趣的同學一起參與進來，pull request & issue are welcome！

好了，以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。