網(wǎng)上關(guān)于nginx的介紹有很多，這里講述的是上游服務(wù)（如下圖的Java1服務(wù)）在沒(méi)有“網(wǎng)關(guān)”的情況下，如何通過(guò)nginx做到動(dòng)態(tài)上下線。

傳統(tǒng)的做法是，手動(dòng)修改nginx的upstream文件，將Java1的配置注釋或者標(biāo)記為down，然后reload nginx生效。當(dāng)然可以做成腳本自動(dòng)化修改，然而對(duì)于一個(gè)繁忙的nginx來(lái)說(shuō)，貿(mào)然reload輕則響應(yīng)緩慢，重則雪崩丟失流量。

那么怎樣做到nginx動(dòng)態(tài)加載upstream配置呢？網(wǎng)上大體有3種方案：

• 通過(guò)Lua腳本結(jié)合nginx，也就是Openresty方案；
• 給nginx的每個(gè)server額外添加一個(gè)端口，每次通過(guò)調(diào)用這個(gè)端口修改upstream；
• 給nginx添加數(shù)據(jù)庫(kù)，upstream數(shù)據(jù)放在數(shù)據(jù)庫(kù)中，通過(guò)修改數(shù)據(jù)庫(kù)數(shù)據(jù)實(shí)現(xiàn)修改upstream配置。

對(duì)于一個(gè)正在運(yùn)行的生產(chǎn)環(huán)境nginx來(lái)說(shuō)，第3個(gè)方案無(wú)疑是成本最低的。下面讓我們具體看一下：

技術(shù)方案：nginx1.16+nginx_upstream_check_module+nginx-upsync-module+consul

說(shuō)明：

• 這里的consul就是上面所說(shuō)的數(shù)據(jù)庫(kù)，它不只是key/value類型的庫(kù)，還有一個(gè)簡(jiǎn)潔的web管理頁(yè)面，可以很方便的管理鍵值對(duì)數(shù)據(jù)；
• nginx_upstream_check_module是阿里開(kāi)源的針對(duì)上游服務(wù)的健康檢測(cè)模塊；
• nginx-upsync-module是微博開(kāi)源的可以與consul/etcd結(jié)合的模塊。

下面分別通過(guò)consul集群部署、nginx改造、創(chuàng)建upstream數(shù)據(jù)3個(gè)方面逐一討論實(shí)施細(xì)節(jié)。

一、部署consul集群

官網(wǎng)：https://www.consul.io/

假設(shè)用下面3臺(tái)機(jī)器組成一個(gè)Consul集群：

192.168.21.11
192.168.21.12
192.168.21.13
192.168.21.14 # 這個(gè)IP為代理IP，用于代理上面3臺(tái)機(jī)器

1. 準(zhǔn)備工作

從官網(wǎng)下載consul壓縮包，分別上傳到上面3臺(tái)服務(wù)器，這里的consul版本為1.8.4：

unzip consul_1.8.4_linux_amd64.zip
mv consul /usr/local/bin/
[root@nginx-11 tmp]# consul
Usage: consul [--version] [--help] <command> [<args>]

Available commands are:
 acl Interact with Consul's ACLs
 agent Runs a Consul agent
 catalog Interact with the catalog
 ....

3臺(tái)機(jī)器分別創(chuàng)建consul數(shù)據(jù)、日志、配置文件目錄：

mkdir -p /data/consul/{data,log}
mkdir /etc/consul

2.生成consul配置文件

下面以192.168.21.11的配置文件為例：

[root@nginx-11 tmp]# cat /etc/consul/config.json
{
 "datacenter":"dc1",
 "primary_datacenter":"dc1",
 "bootstrap_expect":3,
 "start_join":[
 "192.168.21.11",
 "192.168.21.12",
 "192.168.21.13"
 ],
 "retry_join":[
 "192.168.21.11",
 "192.168.21.12",
 "192.168.21.13"
 ],
 "advertise_addr": "192.168.21.11",
 "bind_addr": "192.168.21.11",
 "client_addr": "0.0.0.0",
 "server":true,
 "connect":{
 "enabled":true
 },
 "node_name":"192.168.21.11",
 "ui": true,
 "data_dir":"/data/consul/data",
 "enable_script_checks":false,
 "enable_local_script_checks":true,
 "log_file":"/data/consul/log/",
 "log_level":"info",
 "log_rotate_bytes":100000000,
 "log_rotate_duration":"24h",
 "encrypt":"a2zC4ItisuFdpl7IqwoYz3GqwA5W1w2CxjNmyVbuhZ4=",
 "acl":{
 "enabled":true,
 "default_policy":"deny",
 "enable_token_persistence":true,
 "enable_key_list_policy":true,
 "tokens":{
 "master":"6c95012f-d086-4ef3-b6b9-35b60f529bd0"
 }
 }
}

說(shuō)明：

• 另外2臺(tái)服務(wù)器的配置文件，分別將上面的advertise_addr、bind_addr、node_name對(duì)應(yīng)值修改為對(duì)應(yīng)IP，其他配置不需要改變；
• 參數(shù) "bootstrap_expect":3 意為希望部署一個(gè)3個(gè)節(jié)點(diǎn)的集群，請(qǐng)根據(jù)實(shí)際情況配置；
• encrypt與tokens對(duì)應(yīng)的值，3臺(tái)機(jī)器應(yīng)保持一致，encrypt值可以通過(guò)consul keygen命令生成，token值可以通過(guò)uuidgen命令生成，也可以都通過(guò)這2個(gè)工具生成；
• 相關(guān)參數(shù)的理解可以參考：https://juejin.im/post/6844903860717240334

3. 創(chuàng)建consul集群

分別在3臺(tái)機(jī)器上啟動(dòng)consul即可：

consul agent -config-file=/etc/consul/config.json &

通過(guò)瀏覽器訪問(wèn)http://192.168.21.14:8500（或者任意一個(gè)IP:Port）即可訪問(wèn)consul后臺(tái)界面，輸入上面master的tokens值可以看到里面具體內(nèi)容。

注意：

• 上面配置文件中的acl配置，“enable_key_list_policy”配置一定要加上，且值要配成“true”，否則匿名用戶可能訪問(wèn)不到consul配置內(nèi)容。

4. 為非管理員創(chuàng)建consul訪問(wèn)權(quán)限

1）創(chuàng)建訪問(wèn)策略

通過(guò)瀏覽器訪問(wèn)consul，點(diǎn)擊ACL -> Access Controls -> Policies -> 右上角Create創(chuàng)建一個(gè)只讀“upstreams”kv策略，名稱為：readonlykv，Rules內(nèi)容為：

key_prefix "upstreams/" {
 policy = "list"
}

創(chuàng)建一個(gè)可以寫“upstreams”kv策略，名稱為：writekv，Rules內(nèi)容為：

key_prefix "upstreams/" {
 policy = "write"
}

創(chuàng)建好的2條策略截圖如下：

2）創(chuàng)建訪問(wèn)token

在匿名用戶token中加入允許訪問(wèn)只讀“upstreams”kv策略，用于允許nginx模塊匿名讀取consul配置：
點(diǎn)擊00000002，在Policies中選擇readonlykv即可。

創(chuàng)建可以寫“upstreams”kv的token，用于腳本帶此token修改consul配置：
通過(guò)瀏覽器訪問(wèn)consul，點(diǎn)擊ACL -> Access Controls -> Tokens -> 右上角Create，在Policies中選擇writekv。
修改／創(chuàng)建好的2條token截圖如下：

到此Consul集群部署完成。

二、nginx改造

1. 升級(jí)nginx

下載nginx相關(guān)模塊：

nginx-upsync-module：https://github.com/weibocom/nginx-upsync-module

nginx_upstream_check_module：https://github.com/xiaokai-wang/nginx_upstream_check_module

注意：

• 下載nginx_upstream_check_module模塊時(shí)請(qǐng)一定到xiaokai-wang的GitHub上下載，千萬(wàn)不要到阿里的官方GitHub上下載，否則版本不兼容編譯不過(guò)去；
• 在對(duì)Nginx升級(jí)前請(qǐng)先做好數(shù)據(jù)備份。

1）對(duì)nginx_upstream_check_module打patch

cd nginx-1.16.0
patch -p1 < /usr/local/src/nginx-1.16/nginx_upstream_check_module-master/check_1.12.1+.patch 

說(shuō)明：我把下載的2個(gè)nginx模塊源碼包放在了/usr/local/src/nginx-1.16/路徑下。

2）編譯nginx

./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/nginx-1.16/nginx_upstream_check_module-master --add-module=/usr/local/src/nginx-1.16/nginx-upsync-module-master ...

說(shuō)明：

我把nginx安裝在/usr/local/下面；

命令后面的省略號(hào)是你要安裝的模塊，請(qǐng)根據(jù)實(shí)際情況添加，通過(guò)nginx -V可以看到當(dāng)前安裝了哪些模塊，然后加上去即可。

3）安裝nginx

make
# 如果是平滑升級(jí)，該步不要執(zhí)行 
make install

4）升級(jí)nginx

#再次備份nginx二進(jìn)制文件
mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx16.old
#用新nginx二進(jìn)制文件替換老的
cp objs/nginx /usr/local/nginx/sbin/
#查看已安裝的nginx模塊
/usr/local/nginx/sbin/nginx -V

提醒：經(jīng)過(guò)測(cè)試發(fā)現(xiàn)nginx1.6通過(guò)reload或者發(fā)送kill -USR2命令，老的nginx進(jìn)程并不會(huì)退出，需要重啟nginx才可以生效，不知道是不是Bug。

/usr/local/nginx/sbin/nginx -s stop
#如果老的nginx進(jìn)程仍未推出，使用kill -9強(qiáng)制殺掉ps -ef |grep nginx
#開(kāi)啟nginx
/usr/local/nginx/sbin/nginx 
# 說(shuō)明：發(fā)送kill -USR2命令
kill -USR2 `cat /usr/local/nginx/logs/nginx.pid`

到此，nginx升級(jí)完成。

2. 配置nginx

1）首先配置nginx展示頁(yè)面，用于快速了解nginx運(yùn)行狀態(tài)

cat nginx.conf
 server {
 listen 80;
 server_name localhost;

 # 在server 80中展示upstream，相當(dāng)于全局配置，其他配置文件不需要配置　　　　　　　　　 # 瀏覽器訪問(wèn)http://nginx-ip:80/upstream_show能查看到nginx upstream的具體配置信息
 location = /upstream_show {
  upstream_show;
 }

 # 在server 80中展示check詳情，相當(dāng)于全局配置，其他配置文件不需要配置　　　　　　　　　 # 瀏覽器訪問(wèn)http://nginx-ip:80/status能查看到上游服務(wù)的健康狀態(tài)，報(bào)紅即為有問(wèn)題，白色即為正常
 location /status {
  check_status;
 }

 # 在server 80中展示nginx自帶的狀態(tài)，相當(dāng)于全局配置，其他配置文件不需要配置　　　　　　　　　 # nginx原生自帶功能
 location /NginxStatus {
  stub_status on;
  access_log off;
  allow 192.168.0.0/16;
  deny all;
 }
 }
　　　　　# 引入具體server配置，每個(gè)server需要配置nginx-upsync-module模塊的配置
 include /usr/local/nginx/conf/vhosts/*.conf;

2）server配置

http方式檢測(cè)

upstream rs1 {
 server 127.0.0.1:11111;
 upsync 192.168.21.14:8500/v1/kv/upstreams/rs1/ upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
 upsync_dump_path /usr/local/nginx/conf/servers/servers_rs1.conf;

 check interval=1000 rise=2 fall=2 timeout=3000 type=http default_down=false;
 check_http_send "HEAD /health.htm HTTP/1.0\r\n\r\n";
 check_http_expect_alive http_2xx http_3xx;
}

server {
 listen 80;
...

tcp方式檢測(cè)（tcp為默認(rèn)檢測(cè)方式）

upstream rs2 {
 server 127.0.0.1:11111;
 upsync 192.168.21.14:8500/v1/kv/upstreams/rs2/ upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
 upsync_dump_path /usr/local/nginx/conf/servers/servers_rs2.conf;

 check interval=1000 rise=2 fall=2 timeout=3000 type=tcp default_down=false;
}

server {
 listen 80;
...

說(shuō)明：

• 推薦使用http方式檢測(cè)，http比tcp方式更準(zhǔn)確，該檢測(cè)方式為nginx_upstream_check_module提供，功能強(qiáng)大，參數(shù)簡(jiǎn)單解釋：每隔1秒進(jìn)行1次健康檢查，每次超時(shí)時(shí)間為3秒，連續(xù)2次健康檢查成功則認(rèn)為這個(gè)上游服務(wù)健康，將會(huì)被上線或一直保持在線；連續(xù)2次健康檢查失敗則認(rèn)為這個(gè)上游服務(wù)不健康，將會(huì)被剔除下線?！?health.htm”是上游服務(wù)的健康檢查接口，通過(guò)它判斷服務(wù)是否健康。具體參數(shù)解釋可參考：http://tengine.taobao.org/document_cn/http_upstream_check_cn.html
• 參數(shù)簡(jiǎn)單解釋：nginx-upsync-module模塊會(huì)每隔0.5秒向consul數(shù)據(jù)庫(kù)檢查一次配置，每次超時(shí)時(shí)間為6分鐘。具體參數(shù)解釋可參考：https://github.com/weibocom/nginx-upsync-module
• nginx會(huì)在/usr/local/nginx/conf目錄下面創(chuàng)建servers子目錄，該子目錄下會(huì)自動(dòng)創(chuàng)建相關(guān)server配置文件。

到此，nginx配置修改完成。

三、創(chuàng)建upstream數(shù)據(jù)（consul鍵值對(duì)）

可以通過(guò)web頁(yè)面或者腳本創(chuàng)建upstream數(shù)據(jù)，方法如下：

1. web頁(yè)面操作

如果需要?jiǎng)?chuàng)建目錄，在要?jiǎng)?chuàng)建的字段后面加上"/"即可，如：upstreams/ 。

"Key/Value"中必須先創(chuàng)建"upstreams"目錄（后面有字母s），然后再創(chuàng)建對(duì)應(yīng)的server名稱，截圖如下：

2. 命令行操作

使用命令行時(shí)不需要先創(chuàng)建"upstreams/"目錄，命令會(huì)自動(dòng)創(chuàng)建目錄以及server數(shù)據(jù)。

下面以上游服務(wù)Java1（IP為192.168.20.100，端口號(hào)為8080，upstream分組名稱為rs1）為例：

添加記錄

curl -X PUT http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token

上述命令執(zhí)行后，會(huì)形成一條nginx的upstream默認(rèn)配置信息，即：

server 192.168.20.100:8080 weight=1 max_fails=2 fail_timeout=10s;

可以通過(guò)下面命令自定義權(quán)重等值：

curl -X PUT -d "{\"weight\":100, \"max_fails\":2, \"fail_timeout\":10}" http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token
# 或者 
curl -X PUT -d '{"weight":100, "max_fails":2, "fail_timeout":10}' http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token

刪除記錄

curl -X DELETE http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token

更新權(quán)重

curl -X PUT -d "{\"weight\":100, \"max_fails\":2, \"fail_timeout\":10}" http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token
# 或者 
curl -X PUT -d '{"weight":100, "max_fails":2, "fail_timeout":10}' http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token

下線服務(wù)

curl -X PUT -d "{\"weight\":2, \"max_fails\":2, \"fail_timeout\":10, \"down\":1}" http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token
# 或者
curl -X PUT -d '{"weight":2, "max_fails":2, "fail_timeout":10, "down":1}' http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token

查看upstream rs1下面有哪些上游服務(wù)器

curl http://192.168.21.14:8500/v1/kv/upstreams/rs1?recurse

推薦使用命令行操作，建議將命令行組裝成腳本實(shí)現(xiàn)DevOps

四、一點(diǎn)感悟

在改造該動(dòng)態(tài)發(fā)現(xiàn)方案期間，遇到了很多問(wèn)題，最棘手的一個(gè)問(wèn)題是測(cè)試環(huán)境種nginx一直報(bào)錯(cuò)，upstream數(shù)據(jù)始終無(wú)法完整下載，經(jīng)過(guò)各種排查還是沒(méi)有發(fā)現(xiàn)問(wèn)題，中間我懷疑過(guò)是consul的問(wèn)題，換成了etcd還是同樣的報(bào)錯(cuò)，最后通過(guò)抓包跟蹤，發(fā)現(xiàn)是Linux內(nèi)核參數(shù)配置不當(dāng)，導(dǎo)致隊(duì)列溢出tcp三次握手失敗，影響nginx與consul通信。

很多方案理論上是沒(méi)有問(wèn)題的，甚至說(shuō)有人已經(jīng)成功運(yùn)用了，但是實(shí)際上親自實(shí)施的話還是會(huì)遇到各種各樣的問(wèn)題，有些甚至是致命的，這時(shí)候就需要耐心的解決。希望大家在看到這篇文章的時(shí)候也去動(dòng)手試試，如果遇到了問(wèn)題請(qǐng)靜下心來(lái)耐心排查。

還有一個(gè)是，很多人說(shuō)運(yùn)維是不產(chǎn)生價(jià)值的，我認(rèn)為這么說(shuō)是不對(duì)的，運(yùn)維需要體現(xiàn)的價(jià)值有很多，SRE就是其中的一種。

到此這篇關(guān)于基于nginx實(shí)現(xiàn)上游服務(wù)器動(dòng)態(tài)自動(dòng)上下線無(wú)需reload的文章就介紹到這了,更多相關(guān)nginx上游服務(wù)器自動(dòng)上下線內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！