nginx流量拷貝的實(shí)現(xiàn)示例
一、Nginx的ngx_http_mirror_module模塊實(shí)現(xiàn)流量復(fù)制介紹
Nginx專門(mén)提供了ngx_http_mirror_module模塊，用來(lái)實(shí)現(xiàn)流量拷貝。將生產(chǎn)環(huán)境的流量拷貝到預(yù)上線環(huán)境或測(cè)試環(huán)境，這樣做有很多好處：
- 可以驗(yàn)證功能是否正常，以及服務(wù)的性能；
- 用真實(shí)有效的流量請(qǐng)求去驗(yàn)證，又不用造數(shù)據(jù)，不影響線上正常訪問(wèn)；
- 相比于灰度發(fā)布，鏡像流量不會(huì)影響真實(shí)流量；
- 可以用來(lái)排查線上問(wèn)題；
- 重構(gòu)，假如服務(wù)做了重構(gòu)，這也是一種測(cè)試方式；
ngx_http_mirror_module模塊就像是一個(gè)鏡像站點(diǎn)一樣，將所有的請(qǐng)求都收集起來(lái)，這個(gè)鏡像站點(diǎn)就代表了所有真實(shí)有效的原始請(qǐng)求。有了這個(gè)鏡像站點(diǎn)，后續(xù)就可以復(fù)現(xiàn)所有的請(qǐng)求，實(shí)現(xiàn)把線上的流程復(fù)制到別的地方。
ngx_http_mirror_module模塊特性：
- nginx 1.13.4及后續(xù)版本內(nèi)置ngx_http_mirror_module模塊，提供流量鏡像(復(fù)制)的功能。
- 支持流量放大，做法為：配置多份相同鏡像。
- 相比tcp-copy的優(yōu)勢(shì)：無(wú)需錄制流量，實(shí)時(shí)可用；配置相當(dāng)簡(jiǎn)單
- 源站請(qǐng)求，直接原路返回；正常配置下，mirror請(qǐng)求不影響源站請(qǐng)求及響應(yīng)，源站nginx-server將流量復(fù)制到mirror站后，兩者不再有任何交集。
二、Nginx編譯安裝，要加上ngx_http_mirror_module模塊
下面是Nginx解壓后，編譯安裝的示例
# ./configure
--sbin-path=/usr/local/nginx/nginx
--conf-path=/usr/local/nginx/nginx.conf
--pid-path=/usr/local/nginx/nginx.pid
--with-http_ssl_module
--without-http_limit_req_module
--without-http_mirror_module
--with-pcre=../pcre-8.43
--with-zlib=../zlib-1.2.11
--add-module=/path/to/ngx_devel_kit
--add-module=/path/to/lua-nginx-module
# make & make install
三、Nginx流量拷貝的配置示例
upstream kevin-order {
server 127.0.0.1:8088;
}
upstream kevin-customer {
server 127.0.0.1:8089;
}
upstream kevin-mirror1 {
server 172.16.60.230:8088;
}
upstream kevin-mirror2 {
server 172.16.60.230:8089;
}
server {
listen 80;
server_name kevin.com;
access_log /usr/local/nginx/logs/kevin.com-access.log main;
error_log /usr/local/nginx/logs/kevin.com-error.log;
# 源站點(diǎn)1
location /order {
proxy_pass http://kevin-order;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
# 復(fù)制請(qǐng)求體
mirror_request_body on;
# 流量復(fù)制
mirror /mirror1;
}
# 源站點(diǎn)2
location /customer {
proxy_pass http://kevin-customer;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
mirror_request_body on;
mirror /mirror2;
}
# 鏡像站點(diǎn)1
location /mirror1 {
proxy_pass http://kevin-mirror1$request_uri;
proxy_pass_request_body on;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
# 鏡像站點(diǎn)2
location /mirror2 {
proxy_pass http://kevin-mirror2$request_uri;
proxy_pass_request_body on;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
**配置說(shuō)明：**上面配置中，將訪問(wèn)http://kevin.com/order、http://kevin.com/customer的流量分別復(fù)制到172.16.60.230服務(wù)器的8088和8089端口。
四、Nginx使用ngx_http_mirror_module模塊進(jìn)行流量拷貝的配置技巧
4.1 Nginx復(fù)制GET及POST請(qǐng)求流量
server {
listen 80;
server_name kevin.com;
# 源站配置
location / {
access_log /usr/local/nginx/logs/access.log accesslog;
mirror /mirror;
mirror_request_body on;
proxy_pass http://kevin.upstream.name;
}
# 鏡像站點(diǎn)配置
location /mirror {
internal; # 內(nèi)部配置
proxy_pass http://mirror.kevin.upstream.name$request_uri;
proxy_pass_request_body on;
proxy_set_header X-Original-URI $request_uri; #使用真實(shí)的url重置url
}
}
4.2Nginx不允許復(fù)制POST請(qǐng)求流量
默認(rèn)是支持POST流量復(fù)制的，需要通過(guò)下面配置來(lái)禁止。
server {
listen 80;
server_name kevin.com;
# 源站配置
location / {
access_log /usr/local/nginx/logs/access.log accesslog;
mirror /mirror;
mirror_request_body off;
proxy_pass http://kevin.upstream.name;
}
# 鏡像站點(diǎn)配置
location /mirror {
# 判斷請(qǐng)求方法，不是GET返回403
if ($request_method != GET) {
return 403;
}
internal; #內(nèi)部配置
proxy_pass http://mirror.kevin.upstream.name$request_uri;
proxy_pass_request_body off;
# mirror_request_body和proxy_pass_request_body都設(shè)置為off，則Conten-length需要設(shè)置為""，否則有坑！
proxy_set_header Content-Length "";
proxy_set_header X-Original-URI $request_uri; # 使用真實(shí)的url重置url
}
}
4.3拷貝流量放大
配置多分mirror鏡像點(diǎn)
server {
listen 80;
server_name kevin.com;
# 源站配置
location / {
access_log /usr/local/nginx/logs/access.log accesslog;
mirror /mirror;
# 多加一份mirror，流量放大一倍
mirror /mirror;
mirror_request_body on;
proxy_pass http://kevin.upstream.name;
}
# 鏡像站點(diǎn)配置
location /mirror {
internal; # 內(nèi)部配置
proxy_pass http://mirror.kevin.upstream.name$request_uri;
proxy_pass_request_body on;
proxy_set_header X-Original-URI $request_uri; #使用真實(shí)的url重置url
}
}
4.4配置mirror鏡像日志
mirror中不支持配置access_log，解決方法：mirror-location跳轉(zhuǎn)到server，在server中配置accesslog。
server {
listen 80;
server_name kevin.com;
# 源站配置
location / {
access_log /usr/local/nginx/logs/access.log accesslog;
mirror /mirror;
mirror_request_body on;
proxy_pass http://kevin.upstream.name;
}
# 鏡像站點(diǎn)配置
location /mirror {
internal; # 內(nèi)部配置
# 跳轉(zhuǎn)到下面的內(nèi)部server
proxy_pass http://127.0.0.1:10992$request_uri;
proxy_pass_request_body off;
proxy_set_header Content-Length "";
proxy_set_header X-Original-URI $request_uri; #使用真實(shí)的url重置url
}
server {
# server沒(méi)法設(shè)置為內(nèi)部
listen 127.0.0.1:10992;
location / {
# 判斷放在server，使得post請(qǐng)求日志可以記錄
if ($request_method != GET) {
return 403;
}
access_log /usr/local/nginx/logs/access.log accesslog;
proxy_pass http://mirror.kevin.upstream.name;
}
}
五、Nginx流量拷貝的注意事項(xiàng)
1）mirror鏡像配置日志
鏡像配置不正確，導(dǎo)致流量復(fù)制操作沒(méi)正常執(zhí)行。如果mirror鏡像配置缺少日志，會(huì)嚴(yán)重影響調(diào)試。所以強(qiáng)烈建議配置鏡像日志，配置方法如如上"配置mirror鏡像日志"。部分錯(cuò)誤配置的錯(cuò)誤信息在在error日志中。
2）mirror_request_body/proxy_pass_request_body與Content-Length需配置一致
如果mirror_request_body或者proxy_pass_request_body設(shè)置為off，則Content-Length必須設(shè)置為""，因?yàn)閚ginx(mirror_request_body)或tomcat(mirror_request_body)處理post請(qǐng)求時(shí)，會(huì)根據(jù)Content-Length獲取請(qǐng)求體，如果Content-Length不為空，而由于mirror_request_body或者proxy_pass_request_body設(shè)置為off，處理方以為post有內(nèi)容，當(dāng)request_body中沒(méi)有，處理方會(huì)一直等待至超時(shí)，則前者為off，nginx會(huì)報(bào)upstream請(qǐng)求超時(shí)；后者為off，tomcat會(huì)報(bào)如下錯(cuò)誤：
"2025-11-18T17:26:36.803+08:00" "331632b86ec64b829672066a96fc6324" "department" "group" "project_name" "hostname" "127.0.0.1" "" "/post" "p=11" "-" "PostmanRuntime/7.1.1" "ERROR" "xxx.GlobalControllerAdvice" "operateExp" "-" "26" "xxxx.GlobalControllerAdvice" "unknown" "org.springframework.http.converter.HttpMessageNotReadableException" "I/O error while reading input message; nested exception is java.net.SocketTimeoutException" "GlobalControllerAdvice中捕獲全局異常" "org.springframework.http.converter.HttpMessageNotReadableException: I/O error while reading input message; nested exception is java.net.SocketTimeoutException
at org.springframework.web.servlet.mvc.method.annotation.AbstractMessageConverterMethodArgumentResolver.readWithMessageConverters(AbstractMessageConverterMethodArgumentResolver.java:229)
at org.springframework.web.servlet.mvc.method.annotation.RequestResponseBodyMethodProcessor.readWithMessageConverters(RequestResponseBodyMethodProcessor.java:150)
at org.springframework.web.servlet.mvc.method.annotation.RequestResponseBodyMethodProcessor.resolveArgument(RequestResponseBodyMethodProcessor.java:128)
at org.springframework.web.method.support.HandlerMethodArgumentResolverComposite.resolveArgument(HandlerMethodArgumentResolverComposite.java:121)
at org.springframework.web.method.support.InvocableHandlerMethod.getMethodArgumentValues(InvocableHandlerMethod.java:158)
at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:128)
at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:97)
at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:827)
at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:738)
at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:85)
到此這篇關(guān)于nginx流量拷貝的實(shí)現(xiàn)示例的文章就介紹到這了,更多相關(guān)nginx流量拷貝內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
nginx使用ssl模塊配置支持HTTPS訪問(wèn)的方法
這篇文章主要介紹了nginx使用ssl模塊配置支持HTTPS訪問(wèn)的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
淺談Nginx10m+高并發(fā)內(nèi)核優(yōu)化詳解
這篇文章主要介紹了淺談Nginx10m+高并發(fā)內(nèi)核優(yōu)化詳解，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-03-03
Nginx重定向后請(qǐng)求參數(shù)丟失的原因分析及解決方案
在日常開(kāi)發(fā)和運(yùn)維中,我們經(jīng)常會(huì)遇到需要使用 Nginx 進(jìn)行反向代理的場(chǎng)景,但在配置 proxy_pass 時(shí),有時(shí)候可能會(huì)遇到請(qǐng)求參數(shù)丟失的問(wèn)題,在這篇文章中,我們將會(huì)詳細(xì)探討這個(gè)問(wèn)題并給出幾種解決方案,需要的朋友可以參考下2023-11-11
Nginx中運(yùn)行PHP框架Laravel的配置文件分享
這篇文章主要介紹了Nginx中運(yùn)行PHP框架Laravel的配置文件分享,本文直接給出配置示例,需要的朋友可以參考下2015-06-06
Nginx啟動(dòng)成功瀏覽器卻不能訪問(wèn)的解決辦法
最近安裝了nginx,開(kāi)始配置成功,但是瀏覽器卻訪問(wèn)不了,本文主要介紹了Nginx啟動(dòng)成功瀏覽器卻不能訪問(wèn)的解決辦法,具有一定的參考價(jià)值,感興趣的可以了解一下2023-10-10
防盜鏈指的是防止其他網(wǎng)站未經(jīng)許可直接引用你的資源（如圖片、音視頻文件、文檔等）,這樣做不僅能有效節(jié)約帶寬,還能防止未經(jīng)授權(quán)的內(nèi)容被濫用,本文給大家介紹了Nginx實(shí)現(xiàn)防盜鏈的多種方式,需要的朋友可以參考下2025-01-01
nginx 查看版本號(hào)的方法實(shí)現(xiàn)
本文主要介紹了nginx 查看版本號(hào)的方法實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2025-03-03
這篇文章主要給大家介紹了關(guān)于nginx反向代理進(jìn)行yum配置的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-12-12
Nginx配置WSS安全WebSocket代理的實(shí)現(xiàn)
本文詳細(xì)介紹Nginx配置WSS(WebSocket安全連接)的方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2025-12-12
通過(guò)nginx我們有三種限速方式分別是: 限制請(qǐng)求數(shù)(request),限制連接數(shù)(connection),限制響應(yīng)速度(rate),本文就來(lái)介紹一下nginx 限速之limit_conn的使用,ngx_http_limit_conn_module 模塊主要是用于根據(jù)特定的key來(lái)限制連接的數(shù)量,感興趣的可以了解一下2023-10-10