Nginx流量拷貝ngx_http_mirror_module模塊使用方法詳解

更新時間：2022年04月07日 15:35:12 作者：散盡浮華

這篇文章主要介紹了Nginx流量拷貝,Nginx專門提供了ngx_http_mirror_module模塊，用來實現(xiàn)流量拷貝。將生產(chǎn)環(huán)境的流量拷貝到預(yù)上線環(huán)境或測試環(huán)境

一、Nginx的ngx_http_mirror_module模塊實現(xiàn)流量復(fù)制介紹

Nginx專門提供了ngx_http_mirror_module模塊，用來實現(xiàn)流量拷貝。將生產(chǎn)環(huán)境的流量拷貝到預(yù)上線環(huán)境或測試環(huán)境，這樣做有很多好處：

可以驗證功能是否正常，以及服務(wù)的性能；
用真實有效的流量請求去驗證，又不用造數(shù)據(jù)，不影響線上正常訪問；
相比于灰度發(fā)布，鏡像流量不會影響真實流量；
可以用來排查線上問題；
重構(gòu)，假如服務(wù)做了重構(gòu)，這也是一種測試方式；

ngx_http_mirror_module模塊就像是一個鏡像站點一樣，將所有的請求都收集起來，這個鏡像站點就代表了所有真實有效的原始請求。有了這個鏡像站點，后續(xù)就可以復(fù)現(xiàn)所有的請求，實現(xiàn)把線上的流程復(fù)制到別的地方。

ngx_http_mirror_module模塊特性：

nginx 1.13.4及后續(xù)版本內(nèi)置ngx_http_mirror_module模塊，提供流量鏡像(復(fù)制)的功能。
支持流量放大，做法為：配置多份相同鏡像。
相比tcp-copy的優(yōu)勢：無需錄制流量，實時可用；配置相當(dāng)簡單。
源站請求，直接原路返回；正常配置下，mirror請求不影響源站請求及響應(yīng)，源站nginx-server將流量復(fù)制到mirror站后，兩者不再有任何交集。

二、Nginx編譯安裝，要加上ngx_http_mirror_module模塊

下面是Nginx解壓后，編譯安裝的示例

# ./configure
    --sbin-path=/usr/local/nginx/nginx
    --conf-path=/usr/local/nginx/nginx.conf
    --pid-path=/usr/local/nginx/nginx.pid
    --with-http_ssl_module
    --without-http_limit_req_module
    --without-http_mirror_module
    --with-pcre=../pcre-8.43
    --with-zlib=../zlib-1.2.11
    --add-module=/path/to/ngx_devel_kit
    --add-module=/path/to/lua-nginx-module

# make & make install

三、Nginx流量拷貝的配置示例

upstream kevin-order {
  server 127.0.0.1:8088;
}

upstream kevin-customer {
  server 127.0.0.1:8089;
}

upstream kevin-mirror1 {
    server 172.16.60.230:8088;
}

upstream kevin-mirror2 {
    server 172.16.60.230:8089;
}

server {
    listen 80;
    server_name  kevin.com;
    access_log  /usr/local/nginx/logs/kevin.com-access.log main;
    error_log   /usr/local/nginx/logs/kevin.com-error.log;

　　# 源站點1
    location /order {
        proxy_pass http://kevin-order;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        # 復(fù)制請求體
        mirror_request_body on;
        # 流量復(fù)制
        mirror /mirror1;
    }

    # 源站點2
    location /customer {
        proxy_pass http://kevin-customer;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        mirror_request_body on;
        mirror /mirror2;
    }

    # 鏡像站點1
    location /mirror1 {
        proxy_pass http://kevin-mirror1$request_uri;
        proxy_pass_request_body on;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }

    # 鏡像站點2
    location /mirror2 {
        proxy_pass http://kevin-mirror2$request_uri;
        proxy_pass_request_body on;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

配置說明：上面配置中，將訪問http://kevin.com/order、http://kevin.com/customer的流量分別復(fù)制到172.16.60.230服務(wù)器的8088和8089端口。

四、Nginx使用ngx_http_mirror_module模塊進行流量拷貝的配置技巧

1）Nginx復(fù)制GET及POST請求流量

server {
        listen       80;
        server_name  kevin.com;
        # 源站配置
        location / {
                access_log  /usr/local/nginx/logs/access.log  accesslog;
                mirror /mirror;
                mirror_request_body on;
                proxy_pass http://kevin.upstream.name;
        }
        # 鏡像站點配置
        location /mirror {
                internal; # 內(nèi)部配置
                proxy_pass http://mirror.kevin.upstream.name$request_uri;
                proxy_pass_request_body on;
                proxy_set_header X-Original-URI $request_uri; #使用真實的url重置url
        }
}

2）Nginx不允許復(fù)制POST請求流量

默認(rèn)是支持POST流量復(fù)制的，需要通過下面配置來禁止。

server {
        listen       80;
        server_name  kevin.com;

        # 源站配置
        location / {
                access_log  /usr/local/nginx/logs/access.log  accesslog;
                mirror /mirror;
                mirror_request_body off;
                proxy_pass http://kevin.upstream.name;
        }

        # 鏡像站點配置
        location /mirror {
                # 判斷請求方法，不是GET返回403
                if ($request_method != GET) {
                    return 403;
                }
                internal;  #內(nèi)部配置
                proxy_pass http://mirror.kevin.upstream.name$request_uri;
                proxy_pass_request_body off;
                # mirror_request_body和proxy_pass_request_body都設(shè)置為off，則Conten-length需要設(shè)置為""，否則有坑！
                proxy_set_header Content-Length "";
                proxy_set_header X-Original-URI $request_uri; # 使用真實的url重置url
        }
}

3）拷貝流量放大

配置多分mirror鏡像點

server {
        listen       80;
        server_name  kevin.com;
        # 源站配置
        location / {
                access_log  /usr/local/nginx/logs/access.log  accesslog;
                mirror /mirror;
                # 多加一份mirror，流量放大一倍
                mirror /mirror;
                mirror_request_body on;
                proxy_pass http://kevin.upstream.name;
        }
        # 鏡像站點配置
        location /mirror {
                internal; # 內(nèi)部配置
                proxy_pass http://mirror.kevin.upstream.name$request_uri;
                proxy_pass_request_body on;
                proxy_set_header X-Original-URI $request_uri;  #使用真實的url重置url
        }
}

4）配置mirror鏡像日志

mirror中不支持配置access_log，解決方法：mirror-location跳轉(zhuǎn)到server，在server中配置accesslog。

server {
        listen       80;
        server_name  kevin.com;
        # 源站配置
        location / {
                access_log  /usr/local/nginx/logs/access.log  accesslog;
                mirror /mirror;
                mirror_request_body on;
                proxy_pass http://kevin.upstream.name;
        }
        # 鏡像站點配置
        location /mirror {
                internal; # 內(nèi)部配置
                # 跳轉(zhuǎn)到下面的內(nèi)部server
                proxy_pass http://127.0.0.1:10992$request_uri;
                proxy_pass_request_body off;
                proxy_set_header Content-Length "";
                proxy_set_header X-Original-URI $request_uri; #使用真實的url重置url
        }

server {
    # server沒法設(shè)置為內(nèi)部
    listen 127.0.0.1:10992;
    location / {
        # 判斷放在server，使得post請求日志可以記錄
        if ($request_method != GET) {
            return 403;
        }
        access_log /usr/local/nginx/logs/access.log accesslog;
        proxy_pass http://mirror.kevin.upstream.name;
    }

}

五、Nginx流量拷貝的注意事項

1）mirror鏡像配置日志

鏡像配置不正確，導(dǎo)致流量復(fù)制操作沒正常執(zhí)行。如果mirror鏡像配置缺少日志，會嚴(yán)重影響調(diào)試。所以強烈建議配置鏡像日志，配置方法如如上"配置mirror鏡像日志"。部分錯誤配置的錯誤信息在在error日志中。

2）mirror_request_body/proxy_pass_request_body與Content-Length需配置一致

如果mirror_request_body或者proxy_pass_request_body設(shè)置為off，則Content-Length必須設(shè)置為""，因為nginx(mirror_request_body)或tomcat(mirror_request_body)處理post請求時，會根據(jù)Content-Length獲取請求體，如果Content-Length不為空，而由于mirror_request_body或者proxy_pass_request_body設(shè)置為off，處理方以為post有內(nèi)容，當(dāng)request_body中沒有，處理方會一直等待至超時，則前者為off，nginx會報upstream請求超時；后者為off，tomcat會報如下錯誤：

"2020-11-18T17:26:36.803+08:00" "331632b86ec64b829672066a96fc6324"      "department"        "group"   "project_name"        "hostname"    "127.0.0.1"     ""      "/post" "p=11"  "-"     "PostmanRuntime/7.1.1"  "ERROR" "xxx.GlobalControllerAdvice"       "operateExp"    "-"     "26"    "xxxx.GlobalControllerAdvice"       "unknown"       "org.springframework.http.converter.HttpMessageNotReadableException"    "I/O error while reading input message; nested exception is java.net.SocketTimeoutException"    "GlobalControllerAdvice中捕獲全局異常"  "org.springframework.http.converter.HttpMessageNotReadableException: I/O error while reading input message; nested exception is java.net.SocketTimeoutException
        at org.springframework.web.servlet.mvc.method.annotation.AbstractMessageConverterMethodArgumentResolver.readWithMessageConverters(AbstractMessageConverterMethodArgumentResolver.java:229)
        at org.springframework.web.servlet.mvc.method.annotation.RequestResponseBodyMethodProcessor.readWithMessageConverters(RequestResponseBodyMethodProcessor.java:150)
        at org.springframework.web.servlet.mvc.method.annotation.RequestResponseBodyMethodProcessor.resolveArgument(RequestResponseBodyMethodProcessor.java:128)
        at org.springframework.web.method.support.HandlerMethodArgumentResolverComposite.resolveArgument(HandlerMethodArgumentResolverComposite.java:121)
        at org.springframework.web.method.support.InvocableHandlerMethod.getMethodArgumentValues(InvocableHandlerMethod.java:158)
        at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:128)
        at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:97)
        at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:827)
        at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:738)
        at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:85)

更多關(guān)于Nginx流量拷貝技術(shù)文章請查看下面的相關(guān)鏈接

您可能感興趣的文章: