深入分析Tomcat無(wú)響應(yīng)問(wèn)題及解決方法

更新時(shí)間：2016年05月09日 11:32:50 作者：月下狼

Tomcat是Apache 軟件基金會(huì)（Apache Software Foundation）的Jakarta 項(xiàng)目中的一個(gè)核心項(xiàng)目，由Apache、Sun 和其他一些公司及個(gè)人共同開(kāi)發(fā)而成，通常我們會(huì)用它來(lái)運(yùn)行java了，下文小編來(lái)為各位介紹Tomcat無(wú)響應(yīng)問(wèn)題解決辦法

　　問(wèn)題描述

　　生產(chǎn)環(huán)境下有幾臺(tái)tomcat,但突然某個(gè)時(shí)候發(fā)現(xiàn)所有的請(qǐng)求都不能響應(yīng)了,由于我們的web server使用的是nginx,會(huì)將請(qǐng)求反向到tomcat上,所以起初懷疑是nginx就沒(méi)有收到請(qǐng)求,但查看日志后發(fā)現(xiàn),nginx中大量出現(xiàn)499的返回,這說(shuō)明問(wèn)題還是出在tomcat上.

　　問(wèn)題排查

　　首先我想到的是不是CPU跑滿了,雖說(shuō)CPU沒(méi)有報(bào)警但還是本能的top命令看下系統(tǒng)負(fù)載,發(fā)現(xiàn)系統(tǒng)只有0.x的負(fù)載,cpu,內(nèi)存消耗都是正常的.

　　由于CPU沒(méi)有出現(xiàn)異常,所以應(yīng)該不是GC出現(xiàn)了問(wèn)題,但還是檢查了下GC log,果然GC也沒(méi)問(wèn)題

　　此時(shí)必須讓jstack上場(chǎng)了,果然在使用jstack后發(fā)現(xiàn)很多線程都是WAITING狀態(tài)

"http-nio-127.0.0.1-801-exec-498" daemon prio=10 tid=0x00002ada7c14f800 nid=0x16a6 waiting on condition [0x00002ada9c905000]

　　java.lang.Thread.State: WAITING (parking)

　　at sun.misc.Unsafe.park(Native Method)

　　- parking to wait for <0x00000007873e6990> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)

　　at java.util.concurrent.locks.LockSupport.park(LockSupport.java:186)

　　at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2043)

　　at org.apache.http.pool.PoolEntryFuture.await(PoolEntryFuture.java:133)

　　at org.apache.http.pool.AbstractConnPool.getPoolEntryBlocking(AbstractConnPool.java:282)

　　at org.apache.http.pool.AbstractConnPool.access$000(AbstractConnPool.java:64)

　　at org.apache.http.pool.AbstractConnPool$2.getPoolEntry(AbstractConnPool.java:177)

　　at org.apache.http.pool.AbstractConnPool$2.getPoolEntry(AbstractConnPool.java:170)

　　at org.apache.http.pool.PoolEntryFuture.get(PoolEntryFuture.java:102)

　　at org.apache.http.impl.conn.PoolingHttpClientConnectionManager.leaseConnection(PoolingHttpClientConnectionManager.java:240)

　　at org.apache.http.impl.conn.PoolingHttpClientConnectionManager$1.get(PoolingHttpClientConnectionManager.java:227)

　　at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:173)

　　at org.apache.http.impl.execchain.ProtocolExec.execute(ProtocolExec.java:195)

　　at org.apache.http.impl.execchain.RetryExec.execute(RetryExec.java:85)

　　at org.apache.http.impl.execchain.RedirectExec.execute(RedirectExec.java:108)

　　at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java:186)

　　at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:82)

　　at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:106)

　　at com.weimai.utils.HttpClientUtil.doGet(HttpClientUtil.java:105)

　　at com.weimai.utils.HttpClientUtil.doGet(HttpClientUtil.java:87)

　　at com.weimai.utils.WeiBoUtil.checkUser(WeiBoUtil.java:214)

　　at com.weimai.web.UserInfoController.newWeiboLogin(UserInfoController.java:1223)

　　at sun.reflect.GeneratedMethodAccessor390.invoke(Unknown Source)

　　at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

　　at java.lang.reflect.Method.invoke(Method.java:606)

　　此時(shí)意識(shí)到問(wèn)題應(yīng)該出現(xiàn)http連接上,馬上用netstat查看下801端口的連接狀態(tài),果然發(fā)現(xiàn)很多請(qǐng)求都是CLOSE_WAIT,這里簡(jiǎn)單解釋下CLOSE_WAIT狀態(tài),如果我們的client程序處于CLOSE_WAIT狀態(tài)的話,說(shuō)明套接字是被動(dòng)關(guān)閉的,整個(gè)流程應(yīng)該是這樣

　　因?yàn)槿绻莝erver端主動(dòng)斷掉當(dāng)前連接的話,那么雙方關(guān)閉這個(gè)TCP連接共需要四個(gè)packet

　　server -> FIN -> client

　　server <- ACK <- client

　　這時(shí)候server端處于FIN_WAIT_2狀態(tài),而我們的程序處于CLOSE_WAIT狀態(tài)

　　server <- FIN <- client

　　這時(shí)client發(fā)送FIN給server,client就置為L(zhǎng)AST_ACK狀態(tài)。

　　server -> ACK -> client

　　server回應(yīng)了ACK,那么client的套接字才會(huì)真正置為CLOSED狀態(tài)

　　我們的請(qǐng)求處于CLOSE_WAIT狀態(tài),而不是LAST_ACK狀態(tài),說(shuō)明還沒(méi)有發(fā)FIN給server,那么很簡(jiǎn)單,去看HttpClientUtil中如何處理就知道了,果然在查看HttpClientUtil代碼中發(fā)現(xiàn)對(duì)于非正常關(guān)閉的http連接沒(méi)有做abort,補(bǔ)充完善好try catch finally塊后問(wèn)題得到解決.

您可能感興趣的文章: