Kafka的性能快這是大廠Java面試經(jīng)常問(wèn)的一個(gè)話題，下面我就重點(diǎn)講解Kafka為什么性能這么快的4大核心原因

1、頁(yè)緩存技術(shù)

Kafka 是基于操作系統(tǒng) 的頁(yè)緩存(page cache)來(lái)實(shí)現(xiàn)文件寫(xiě)入的，我們也可以稱(chēng)之為 os cache，意思就是操作系統(tǒng)自己管理的緩存。

Kafka 在寫(xiě)入磁盤(pán)文件的時(shí)候，可以直接寫(xiě)入這個(gè) os cache 里，也就是僅僅寫(xiě)入內(nèi)存中，接下來(lái)由操作系統(tǒng)自己決定什么時(shí)候把 os cache 里的數(shù)據(jù)真的刷入磁盤(pán)文件中。

通過(guò)這一個(gè)步驟，就可以將磁盤(pán)文件寫(xiě)性能提升很多了，因?yàn)槠鋵?shí)這里相當(dāng)于是在寫(xiě)內(nèi)存，不是在寫(xiě)磁盤(pán)，原理圖如下：

2、磁盤(pán)順序?qū)?/h2>

另一個(gè)主要功能是 kafka 寫(xiě)數(shù)據(jù)的時(shí)候，是以磁盤(pán)順序?qū)懙姆绞絹?lái)寫(xiě)的，也就是說(shuō)僅僅將數(shù)據(jù)追加到文件的末尾，不是在文件的隨機(jī)位置來(lái)修改數(shù)據(jù)。

為什么要采用磁盤(pán)順序?qū)懀?/strong>

完成一次磁盤(pán) IO，需要經(jīng)過(guò)尋道、旋轉(zhuǎn)和數(shù)據(jù)傳輸三個(gè)步驟：

• 尋道（時(shí)間）：磁頭移動(dòng)定位到指定磁道;
• 旋轉(zhuǎn)延遲（時(shí)間）：等待指定扇區(qū)從磁頭下旋轉(zhuǎn)經(jīng)過(guò)；
• 數(shù)據(jù)傳輸（時(shí)間）：數(shù)據(jù)在磁盤(pán)、內(nèi)存與網(wǎng)絡(luò)之間的實(shí)際傳輸。

首先必須找到柱面，即磁頭需要移動(dòng)對(duì)準(zhǔn)相應(yīng)磁道，這個(gè)過(guò)程叫做尋道，所耗費(fèi)時(shí)間叫做尋道時(shí)間，然后目標(biāo)扇區(qū)旋轉(zhuǎn)到磁頭下,這個(gè)過(guò)程耗費(fèi)的時(shí)間叫做旋轉(zhuǎn)時(shí)間。

怎么樣才能提高磁盤(pán)的讀寫(xiě)效率呢?

即采用磁盤(pán)順序?qū)?，這樣就不需要尋道時(shí)間，只需很少的旋轉(zhuǎn)時(shí)間，將數(shù)據(jù)追加到文件的末尾，不是在文件的隨機(jī)位置來(lái)修改數(shù)據(jù)。

基于上面兩點(diǎn)，kafka 就實(shí)現(xiàn)了寫(xiě)入數(shù)據(jù)的超高性能。

3、零拷貝

先來(lái)看看非零拷貝的情況，如下圖所示：

可以看到數(shù)據(jù)的拷貝從內(nèi)存拷貝到 Kafka 服務(wù)進(jìn)程那塊，又拷貝到 Socket 緩存那塊，整個(gè)過(guò)程耗費(fèi)的時(shí)間比較高。

Kafka 利用了 Linux 的 sendFile 技術(shù)（NIO），省去了進(jìn)程切換和一次數(shù)據(jù)拷貝，讓性能變得更好，

如下圖所示：

通過(guò) 零拷貝技術(shù)，就不需要把 os cache 里的數(shù)據(jù)拷貝到應(yīng)用緩存，再?gòu)膽?yīng)用緩存拷貝到 Socket 緩存了，兩次拷貝都省略了，所以叫做零拷貝。

4、分區(qū)分段+索引

Kafka 的 message 是按 topic分 類(lèi)存儲(chǔ)的，topic 中的數(shù)據(jù)又是按照一個(gè)一個(gè)的 partition 即分區(qū)存儲(chǔ)到不同 broker 節(jié)點(diǎn)。每個(gè) partition 對(duì)應(yīng)了操作系統(tǒng)上的一個(gè)文件夾，partition 實(shí)際上又是按照segment分段存儲(chǔ)的。

通過(guò)這種分區(qū)分段的設(shè)計(jì)，Kafka 的 message 消息實(shí)際上是分布式存儲(chǔ)在一個(gè)一個(gè)小的 segment 中的，每次文件操作也是直接操作的 segment。為了進(jìn)一步的查詢優(yōu)化，Kafka 又默認(rèn)為分段后的數(shù)據(jù)文件建立了索引文件，就是文件系統(tǒng)上的.index文件。這種分區(qū)分段+索引的設(shè)計(jì)，不僅提升了數(shù)據(jù)讀取的效率，同時(shí)也提高了數(shù)據(jù)操作的并行度。

到此這篇關(guān)于Java中的Kafka為什么性能這么快及4大核心詳析的文章就介紹到這了,更多相關(guān)Java Kafka內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

• Spring?Boot整合Kafka教程詳解
• @KafkaListener 如何使用
• java?kafka如何動(dòng)態(tài)設(shè)置用戶讀寫(xiě)權(quán)限