詳解Nginx服務(wù)器中的Socket切分

更新時(shí)間：2015年06月26日 10:43:10 投稿：goldensun

這篇文章主要介紹了Nginx服務(wù)器中的Socket切分,以新發(fā)布的1.9.1版本的Nginx為基礎(chǔ),需要的朋友可以參考下

NGINX發(fā)布的1.9.1版本引入了一個(gè)新的特性：允許使用SO_REUSEPORT套接字選項(xiàng)，該選項(xiàng)在許多操作系統(tǒng)的新版本中是可用的，包括DragonFly BSD和Linux（內(nèi)核版本3.9及以后）。該套接字選項(xiàng)允許多個(gè)套接字監(jiān)聽同一IP和端口的組合。內(nèi)核能夠在這些套接字中對(duì)傳入的連接進(jìn)行負(fù)載均衡。

（對(duì)于NGINX Plus客戶，此功能將在年底發(fā)布的版本7中出現(xiàn)）

SO_REUSEPORT選項(xiàng)有許多潛在的實(shí)際應(yīng)用。其他服務(wù)也可以使用它來(lái)簡(jiǎn)單實(shí)現(xiàn)執(zhí)行中的滾動(dòng)升級(jí)（Nginx已經(jīng)通過(guò)不同的辦法支持了滾動(dòng)升級(jí)）。對(duì)于NGINX而言，啟用該選項(xiàng)可以減少在某些場(chǎng)景下的鎖競(jìng)爭(zhēng)而改善性能。

如下圖描述，當(dāng)SO_REUSEPORT選項(xiàng)有效時(shí)，一個(gè)單獨(dú)的監(jiān)聽socket通知工作進(jìn)程接入的連接，并且每個(gè)工作線程都試圖獲得連接。

2015626103725449.png (850×785)

當(dāng)SO_REUSEPORT選項(xiàng)啟用是，存在對(duì)每一個(gè)IP地址和端口綁定連接的多個(gè)socket監(jiān)聽器，每一個(gè)工作進(jìn)程都可以分配一個(gè)。系統(tǒng)內(nèi)核決定哪一個(gè)有效的socket監(jiān)聽器（通過(guò)隱式的方式，給哪一個(gè)工作進(jìn)程）獲得連接。這可以減少工作進(jìn)程之間獲得新連接時(shí)的封鎖競(jìng)爭(zhēng)（譯者注：工作進(jìn)程請(qǐng)求獲得互斥資源加鎖之間的競(jìng)爭(zhēng)），同時(shí)在多核系統(tǒng)可以提高性能。然而，這也意味著當(dāng)一個(gè)工作進(jìn)程陷入阻塞操作時(shí)，阻塞影響的不僅是已經(jīng)接受連接的工作進(jìn)程，也同時(shí)讓內(nèi)核發(fā)送連接請(qǐng)求計(jì)劃分配的工作進(jìn)程因此變?yōu)樽枞?br />

2015626103752434.png (850×780)

設(shè)置共享Socket

為了讓SO_REUSEPORT socket選項(xiàng)起作用，應(yīng)為HTTP或TCP（流模式）通信選項(xiàng)內(nèi)的listen項(xiàng)直接引入新近的reuseport參數(shù)，就像下例這樣：

復(fù)制代碼代碼如下:

http {

     server {          listen 80 reuseport;

          server_name  localhost;

          ...

     }

}

stream {

     server {          listen 12345 reuseport;

          ...

     }

}

引用reuseport參數(shù)后，對(duì)引用的socket，accept_mutex參數(shù)將會(huì)無(wú)效，因?yàn)榛コ饬浚╩utex）對(duì)reuseport來(lái)說(shuō)是多余的。對(duì)沒有使用reuseport的端口，設(shè)置accept_mutex仍然是有價(jià)值的。

reuseport的基準(zhǔn)性能測(cè)試

我在一個(gè)36核的AWS實(shí)例運(yùn)行wrk基準(zhǔn)測(cè)試工具測(cè)試4個(gè)NGINX 工作進(jìn)程.為了減少網(wǎng)絡(luò)的影響，客戶端和NGINX都運(yùn)行在本地，并且讓NGINX返回OK字符串而不是一個(gè)文件。我比較三種NGINX配置：默認(rèn)（等同于accept_mutex on ）,accept_mutex off,和reuseport。如圖所示，reuseport的每秒請(qǐng)求是其余的兩到三倍，同時(shí)延遲和延遲標(biāo)準(zhǔn)差也是減少的。

2015626103816357.png (595×333)

我又運(yùn)行了另一個(gè)相關(guān)的性能測(cè)試——客戶端和NGINX分別在不同的機(jī)器上且NGINX返回一個(gè)HTML文件。如下表所示，用 reuseport 減少的延遲和之前的性能測(cè)試相似，延遲的標(biāo)準(zhǔn)差減少的更為顯著（接近十分之一）。其他結(jié)果（沒有顯示在表格中）同樣令人振奮。使用 reuseport ，負(fù)載被均勻分離到了worker進(jìn)程。在默認(rèn)條件下（等同于 accept_mutex on），一些worker分到了較高百分比的負(fù)載，而用 accept_mutex off 所有worker都受到了較高的負(fù)載。

復(fù)制代碼代碼如下:

Latency (ms)  Latency stdev (ms)  CPU Load

Default  15.65  26.59  0.3

accept_mutex off  15.59  26.48  10

reuseport  12.35  3.15  0.3

在這些性能測(cè)試中，連接請(qǐng)求的速度是很高的，但是請(qǐng)求不需要大量的處理。其他的基本的測(cè)試應(yīng)該指出——當(dāng)應(yīng)用流量符合這種場(chǎng)景時(shí) reuseport 也能大幅提高性能。（reuseport 參數(shù)在 mail 上下文環(huán)境下不能用在 listen 指令下，例如email，因?yàn)閑mail流量一定不會(huì)匹配這種場(chǎng)景。）我們鼓勵(lì)你先測(cè)試而不是直接大規(guī)模應(yīng)用。關(guān)于測(cè)試NGNIX性能的一些技巧，看看Konstantin Pavlov在nginx2014大會(huì)上的演講。

您可能感興趣的文章: