一文學(xué)習(xí)Java NIO的ByteBuffer工作原理
網(wǎng)絡(luò)數(shù)據(jù)的基本單位永遠(yuǎn)是 byte(字節(jié))。Java NIO 提供 ByteBuffer 作為字節(jié)的容器,但該類過(guò)于復(fù)雜,有點(diǎn)難用。
ByteBuf是Netty當(dāng)中的最重要的工具類,它與JDK的ByteBuffer原理基本上相同,也分為堆內(nèi)與堆外倆種類型,但是ByteBuf做了極大的優(yōu)化,具有更簡(jiǎn)單的API,更多的工具方法和優(yōu)秀的內(nèi)存池設(shè)計(jì)。
1 API
Netty 的數(shù)據(jù)處理 API 通過(guò)兩個(gè)組件暴露——抽象類ByteBuf 和 接口 ByteBufHolder。
ByteBuf API 的優(yōu)點(diǎn):
- 它可以被用戶自定義的緩沖區(qū)類型擴(kuò)展
- 通過(guò)內(nèi)置的復(fù)合緩沖區(qū)類型實(shí)現(xiàn)了透明的零拷貝;
- 容量可以按需增長(zhǎng)(類似于 JDK 的 StringBuilder)
- 在讀和寫(xiě)這兩種模式之間切換不需要調(diào)用 ByteBuffer 的 flip()方法
- 讀和寫(xiě)使用了不同的索引
- 支持方法的鏈?zhǔn)秸{(diào)用
- 支持引用計(jì)數(shù)
- 支持池化
其他類可用于管理 ByteBuf 實(shí)例的分配,以及執(zhí)行各種針對(duì)于數(shù)據(jù)容器本身和它所持有的數(shù)據(jù)的操作。
2 Netty 的數(shù)據(jù)容器
所有網(wǎng)絡(luò)通信最終都是基于底層的字節(jié)流傳輸,因此高效、方便、易用的數(shù)據(jù)接口是迷人的,而 Netty 的 ByteBuf 生而為滿足這些需求。
2.1 工作原理
ByteBuf 維護(hù)倆不同索引:一個(gè)用于讀取,一個(gè)用于寫(xiě)入:
- 從 ByteBuf 讀取時(shí),其 readerIndex 將會(huì)被遞增已經(jīng)被讀取的字節(jié)數(shù)
- 當(dāng)寫(xiě)入 ByteBuf 時(shí),writerIndex 也會(huì)被遞增
- 一個(gè)讀索引和寫(xiě)索引都設(shè)置為 0 的 16 字節(jié) ByteBuf


這些索引兩兩之間有什么關(guān)系呢?
若打算讀取字節(jié)直到 readerIndex == writerIndex,會(huì)發(fā)生啥?此時(shí),將會(huì)到達(dá)“可讀取的”數(shù)據(jù)的末尾。類似試圖讀取超出數(shù)組末尾的數(shù)據(jù)一樣,試圖讀取超出該點(diǎn)的數(shù)據(jù)也會(huì)拋 IndexOutOfBoundsException。

- read、write 開(kāi)頭的 ByteBuf 方法,會(huì)推進(jìn)對(duì)應(yīng)索引
- set、get 開(kāi)頭的操作則不會(huì)。后面的這些方法將在作為一個(gè)參數(shù)傳入的一個(gè)相對(duì)索引上執(zhí)行操作
可指定 ByteBuf 的最大容量。試圖移動(dòng)寫(xiě)索引(即 writerIndex)超過(guò)這個(gè)值將會(huì)觸
發(fā)一個(gè)異常。(默認(rèn)限制 Integer.MAX_VALUE。)
內(nèi)存池化
非池化的堆內(nèi)與堆外的 ByteBuf
示意圖

ByteBuf heapBuffer = UnpooledByteBufAllocator.DEFAULT.heapBuffer(10); ByteBuf directBuffer = UnpooledByteBufAllocator.DEFAULT.directBuffer(10);
注意要手動(dòng)將GC 無(wú)法控制的非堆內(nèi)存的空間釋放:
池化的堆內(nèi)與堆外的 ByteBuf
示意圖


字節(jié)級(jí)操作
派生緩沖區(qū)
派生緩沖區(qū)為 ByteBuf 提供了以專門(mén)的方式來(lái)呈現(xiàn)其內(nèi)容的視圖。這類視圖通過(guò)以下方法創(chuàng)建:
- Unpooled.unmodifiableBuffer(…)
- order(ByteOrder)
- readSlice(int)
這些方法都將返回一個(gè)新的 ByteBuf 實(shí)例,但都具有自己獨(dú)立的讀、寫(xiě)和標(biāo)記索引。
其內(nèi)部存儲(chǔ)和 JDK 的 ByteBuffer 一樣,都是共享的。所以派生緩沖區(qū)的創(chuàng)建成本很低,但同時(shí)也表明若你修改了它的內(nèi)容,也會(huì)同時(shí)修改對(duì)應(yīng)源實(shí)例!
slice、slice(int, int)、retainedSlice、retainedSlice(int, int)
返回此緩沖區(qū)的可讀字節(jié)的一部分。
此方法與buf.slice(buf.readerIndex(), buf.readableBytes())相同。
該方法不會(huì)調(diào)用retain(),引用計(jì)數(shù)不會(huì)增加。
retainedSlice系列方法調(diào)用類似slice().retain(),但此方法可能返回產(chǎn)生較少垃圾的緩沖區(qū)實(shí)現(xiàn)。

duplicate、retainedDuplicate

返回一個(gè)共享該緩沖區(qū)整個(gè)區(qū)域的緩沖區(qū)。
此方法不會(huì)修改此緩沖區(qū)的readerIndex或writerIndex

讀取器和寫(xiě)入器標(biāo)記將不會(huì)重復(fù)。
duplicate不會(huì)調(diào)用retain(),不會(huì)增加引用計(jì)數(shù),而retainedDuplicate會(huì)。
readSlice、readRetainedSlice

返回部分空間,彼此共享底層緩沖區(qū),會(huì)增加原緩沖區(qū)的readerIndex。
如果需要一個(gè)現(xiàn)有緩沖區(qū)的真實(shí)副本,請(qǐng)使用 copy()或者 copy(int, int),因?yàn)檫@個(gè)調(diào)用所返回的 ByteBuf 擁有獨(dú)立的數(shù)據(jù)副本。
引用與釋放
ByteBuf 在使用完畢后一定要記得釋放,否則會(huì)造成內(nèi)存泄露。
引用計(jì)數(shù)
通過(guò)在某個(gè)對(duì)象所持有的資源不再被其他對(duì)象引用時(shí)釋放該對(duì)象所持有的資源來(lái)優(yōu)化內(nèi)存使用和性能的技術(shù)。
Netty 在4.x為 ByteBuf 和 ByteBufHolder 帶來(lái)了引用計(jì)數(shù)技術(shù),都實(shí)現(xiàn)了:
ReferenceCounted接口
需要顯式釋放的引用計(jì)數(shù)對(duì)象。
當(dāng)一個(gè)新的ReferenceCounted被實(shí)例化時(shí),以1 作為初始值。
retain()
增加引用計(jì)數(shù),將引用計(jì)數(shù)加1。只要引用計(jì)數(shù)>0,就能保證對(duì)象不會(huì)被釋放。
release()
減少引用計(jì)數(shù),將引用計(jì)數(shù)減1。若引用計(jì)數(shù)減少到0 ,對(duì)象將被顯式釋放,并且訪問(wèn)釋放的對(duì)象通常會(huì)導(dǎo)致訪問(wèn)沖突。
若實(shí)現(xiàn)ReferenceCounted的對(duì)象是其他實(shí)現(xiàn)ReferenceCounted的對(duì)象的容器,則當(dāng)容器的引用計(jì)數(shù)變?yōu)?0 時(shí),所包含的對(duì)象也將通過(guò)release()被釋放。
引用計(jì)數(shù)對(duì)于池化實(shí)現(xiàn)(如 PooledByteBufAllocator)很重要,它降低了內(nèi)存分配的開(kāi)銷。
Channel channel = ...; // 從 Channel 獲取 ByteBufAllocator ByteBufAllocator allocator = channel.alloc(); ... // 從 ByteBufAllocator 分配一個(gè) ByteBuf ByteBuf buffer = allocator.directBuffer(); // 檢查引用計(jì)數(shù)是否為預(yù)期的 1 assert buffer.refCnt() == 1; ByteBuf buffer = ...; // 減少該對(duì)象的活動(dòng)引用。當(dāng)減少到 0 時(shí),該對(duì)象被釋放,該方法返回 true boolean released = buffer.release();
試圖訪問(wèn)一個(gè)已經(jīng)被釋放的引用計(jì)數(shù)的對(duì)象,將會(huì)拋IllegalReferenceCountException


一個(gè)特定的(ReferenceCounted 的實(shí)現(xiàn))類,可以用它自己的獨(dú)特方式來(lái)定義它的引用計(jì)數(shù)規(guī)則。例如可以設(shè)想一個(gè)類,其 release()方法的實(shí)現(xiàn)總是將引用計(jì)數(shù)設(shè)為
零,而不用關(guān)心它的當(dāng)前值,從而一次性使所有的活動(dòng)引用都失效。
誰(shuí)負(fù)責(zé)釋放
一般由最后訪問(wèn)(引用計(jì)數(shù))對(duì)象的那一方來(lái)負(fù)責(zé)將它釋放。
以上就是一文學(xué)習(xí)Java NIO的ByteBuffer工作原理的詳細(xì)內(nèi)容,更多關(guān)于Java NIO的ByteBuffer的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Java并發(fā)編程之關(guān)鍵字volatile的深入解析
提高java的并發(fā)編程,就不得不提volatile關(guān)鍵字,不管是在面試還是實(shí)際開(kāi)發(fā)中volatile都是一個(gè)應(yīng)該掌握的技能,這篇文章主要給大家介紹了關(guān)于Java并發(fā)編程之關(guān)鍵字volatile的相關(guān)資料,需要的朋友可以參考下2021-09-09
Java調(diào)用IK分詞器進(jìn)行分詞方式,封裝工具類
這篇文章主要介紹了Java調(diào)用IK分詞器進(jìn)行分詞方式,封裝工具類,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-08-08
Spring boot 配置多個(gè)redis的方法示例
這篇文章主要介紹了Spring boot 配置多個(gè)redis的方法示例,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-09-09

