cluster模塊概覽

node實(shí)例是單線程作業(yè)的。在服務(wù)端編程中，通常會(huì)創(chuàng)建多個(gè)node實(shí)例來處理客戶端的請求，以此提升系統(tǒng)的吞吐率。對這樣多個(gè)node實(shí)例，我們稱之為cluster（集群）。

借助node的cluster模塊，開發(fā)者可以在幾乎不修改原有項(xiàng)目代碼的前提下，獲得集群服務(wù)帶來的好處。

集群有以下兩種常見的實(shí)現(xiàn)方案，而node自帶的cluster模塊，采用了方案二。

方案一：多個(gè)node實(shí)例+多個(gè)端口

集群內(nèi)的node實(shí)例，各自監(jiān)聽不同的端口，再由反向代理實(shí)現(xiàn)請求到多個(gè)端口的分發(fā)。

1. 優(yōu)點(diǎn)：實(shí)現(xiàn)簡單，各實(shí)例相對獨(dú)立，這對服務(wù)穩(wěn)定性有好處。
2. 缺點(diǎn)：增加端口占用，進(jìn)程之間通信比較麻煩。

方案二：主進(jìn)程向子進(jìn)程轉(zhuǎn)發(fā)請求

集群內(nèi)，創(chuàng)建一個(gè)主進(jìn)程(master)，以及若干個(gè)子進(jìn)程(worker)。由master監(jiān)聽客戶端連接請求，并根據(jù)特定的策略，轉(zhuǎn)發(fā)給worker。

1. 優(yōu)點(diǎn)：通常只占用一個(gè)端口，通信相對簡單，轉(zhuǎn)發(fā)策略更靈活。
2. 缺點(diǎn)：實(shí)現(xiàn)相對復(fù)雜，對主進(jìn)程的穩(wěn)定性要求較高。

入門實(shí)例

在cluster模塊中，主進(jìn)程稱為master，子進(jìn)程稱為worker。

例子如下，創(chuàng)建與CPU數(shù)目相同的服務(wù)端實(shí)例，來處理客戶端請求。注意，它們監(jiān)聽的都是同樣的端口。

// server.js
var cluster = require('cluster');
var cpuNums = require('os').cpus().length;
var http = require('http');

if(cluster.isMaster){
 for(var i = 0; i < cpuNums; i++){
  cluster.fork();
 }
}else{
 http.createServer(function(req, res){
  res.end(`response from worker ${process.pid}`);
 }).listen(3000);

 console.log(`Worker ${process.pid} started`);
}

創(chuàng)建批處理腳本：./req.sh。

#!/bin/bash

# req.sh
for((i=1;i<=4;i++)); do  
 curl http://127.0.0.1:3000
 echo ""
done 

輸出如下。可以看到，響應(yīng)來自不同的進(jìn)程。

response from worker 23735
response from worker 23731
response from worker 23729
response from worker 23730

cluster模塊實(shí)現(xiàn)原理

了解cluster模塊，主要搞清楚3個(gè)問題：

1. master、worker如何通信？
2. 多個(gè)server實(shí)例，如何實(shí)現(xiàn)端口共享？
3. 多個(gè)server實(shí)例，來自客戶端的請求如何分發(fā)到多個(gè)worker？

下面會(huì)結(jié)合示意圖進(jìn)行介紹，源碼級別的介紹，可以參考 筆者的github。

問題1：master、worker如何通信

這個(gè)問題比較簡單。master進(jìn)程通過 cluster.fork() 來創(chuàng)建 worker進(jìn)程。cluster.fork() 內(nèi)部 是通過 child_process.fork() 來創(chuàng)建子進(jìn)程。

也就是說：

1. master進(jìn)程、worker進(jìn)程是父、子進(jìn)程的關(guān)系。
2. master進(jìn)程、woker進(jìn)程可以通過IPC通道進(jìn)行通信。（重要）

問題2：如何實(shí)現(xiàn)端口共享

在前面的例子中，多個(gè)woker中創(chuàng)建的server監(jiān)聽了同個(gè)端口3000。通常來說，多個(gè)進(jìn)程監(jiān)聽同個(gè)端口，系統(tǒng)會(huì)報(bào)錯(cuò)。

為什么我們的例子沒問題呢？

秘密在于，net模塊中，對 listen() 方法進(jìn)行了特殊處理。根據(jù)當(dāng)前進(jìn)程是master進(jìn)程，還是worker進(jìn)程：

1. master進(jìn)程：在該端口上正常監(jiān)聽請求。（沒做特殊處理）
2. worker進(jìn)程：創(chuàng)建server實(shí)例。然后通過IPC通道，向master進(jìn)程發(fā)送消息，讓master進(jìn)程也創(chuàng)建 server 實(shí)例，并在該端口上監(jiān)聽請求。當(dāng)請求進(jìn)來時(shí)，master進(jìn)程將請求轉(zhuǎn)發(fā)給worker進(jìn)程的server實(shí)例。

歸納起來，就是：master進(jìn)程監(jiān)聽特定端口，并將客戶請求轉(zhuǎn)發(fā)給worker進(jìn)程。

如下圖所示：

問題3：如何將請求分發(fā)到多個(gè)worker

每當(dāng)worker進(jìn)程創(chuàng)建server實(shí)例來監(jiān)聽請求，都會(huì)通過IPC通道，在master上進(jìn)行注冊。當(dāng)客戶端請求到達(dá)，master會(huì)負(fù)責(zé)將請求轉(zhuǎn)發(fā)給對應(yīng)的worker。

具體轉(zhuǎn)發(fā)給哪個(gè)worker？這是由轉(zhuǎn)發(fā)策略決定的?？梢酝ㄟ^環(huán)境變量NODE_CLUSTER_SCHED_POLICY設(shè)置，也可以在cluster.setupMaster(options)時(shí)傳入。

默認(rèn)的轉(zhuǎn)發(fā)策略是輪詢（SCHED_RR）。

當(dāng)有客戶請求到達(dá)，master會(huì)輪詢一遍worker列表，找到第一個(gè)空閑的worker，然后將該請求轉(zhuǎn)發(fā)給該worker。

master、worker內(nèi)部通信小技巧

在開發(fā)過程中，我們會(huì)通過 process.on('message', fn) 來實(shí)現(xiàn)進(jìn)程間通信。

前面提到，master進(jìn)程、worker進(jìn)程在server實(shí)例的創(chuàng)建過程中，也是通過IPC通道進(jìn)行通信的。那會(huì)不會(huì)對我們的開發(fā)造成干擾呢？比如，收到一堆其實(shí)并不需要關(guān)心的消息？

答案肯定是不會(huì)？那么是怎么做到的呢？

當(dāng)發(fā)送的消息包含cmd字段，且改字段以NODE_作為前綴，則該消息會(huì)被視為內(nèi)部保留的消息，不會(huì)通過message事件拋出，但可以通過監(jiān)聽'internalMessage'捕獲。

以worker進(jìn)程通知master進(jìn)程創(chuàng)建server實(shí)例為例子。worker偽代碼如下：

// woker進(jìn)程
const message = {
 cmd: 'NODE_CLUSTER',
 act: 'queryServer'
};
process.send(message);

master偽代碼如下：

worker.process.on('internalMessage', fn);

相關(guān)鏈接

官方文檔：https://nodejs.org/api/cluster.html

Node學(xué)習(xí)筆記：https://github.com/chyingp/nodejs-learning-guide

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。