0 問題描述

一個應(yīng)用在運(yùn)行一段時間后，隨著訪問量不斷增加，突然處理能力下降。但是從流量，jstack，gc上看基本正常。感覺好像突然從 “健康狀態(tài)” 進(jìn)入了 “虛弱狀態(tài)”。

1 排查問題

1. 在JVM日志里，可以發(fā)現(xiàn)如下log：

   Java HotSpot(TM) 64-Bit Server VM warning: CodeCache is full. Compiler has been disabled.
   Java HotSpot(TM) 64-Bit Server VM warning: Try increasing the code cache size using -XX:ReservedCodeCacheSize=.
   ...
   “CompilerThread0” java.lang.OutOfMemoryError: requested 2854248 bytes for Chunk::new. Out of swap space?
   

   說明CodeCache已經(jīng)滿了。而且導(dǎo)致這個時候JIT就會停止，JIT一旦停止，就不會再起來了，可以想象一下，如果很多代碼沒有辦法去JIT的話，性能就會比較差。

2. 使用如下命令檢查一下Code Cache的值：

   jinfo -flag ReservedCodeCacheSize
   

2 解決問題

1. 一個可行的方法，就是擴(kuò)大Code Cache空間：

   使用 -XX:ReservedCodeCacheSize= 指定一個更大的空間，來支持更多的JIT編譯；

2. 此外，另一個可行的方法，啟用Code Cache的回收機(jī)制：

   通過在啟動參數(shù)上增加：-XX:+UseCodeCacheFlushing 來啟用；

   打開這個選項(xiàng)，在JIT被關(guān)閉之前，也就是CodeCache裝滿之前，會在JIT關(guān)閉前做一次清理，刪除一些CodeCache的代碼；

   如果清理后還是沒有空間，那么JIT依然會關(guān)閉。這個選項(xiàng)默認(rèn)是關(guān)閉的；

3 背景知識

3.1 JIT即時編譯

在Java中提到“編譯”，自然很容易想到 javac 編譯器將.java文件編譯成為.class文件的過程，這里的 javac 編譯器稱為前端編譯器，其他的前端編譯器還有諸如Eclipse，JDT中的增量式編譯器ECJ等。相對應(yīng)的還有 后端編譯器，它在程序運(yùn)行期間將字節(jié)碼轉(zhuǎn)變成機(jī)器碼（現(xiàn)在的Java程序在運(yùn)行時基本都是 解釋執(zhí)行加編譯執(zhí)行），如HotSpot虛擬機(jī)自帶的JIT（Just In Time Compiler）編譯器（分Client端和Server端）。

Java程序最初是僅僅通過解釋器解釋執(zhí)行的，即對字節(jié)碼逐條解釋執(zhí)行，這種方式的執(zhí)行速度相對會比較慢，尤其當(dāng)某個方法或代碼塊運(yùn)行的特別頻繁時，這種方式的執(zhí)行效率就顯得很低。于是后來 在虛擬機(jī)中引入了JIT編譯器（即時編譯器），當(dāng)虛擬機(jī)發(fā)現(xiàn)某個方法或代碼塊運(yùn)行特別頻繁時，達(dá)到某個閾值，就會把這些代碼認(rèn)定為“Hot Spot Code”（熱點(diǎn)代碼），為了提高熱點(diǎn)代碼的執(zhí)行效率，在運(yùn)行時，虛擬機(jī)將會把這些代碼編譯成與本地平臺相關(guān)的機(jī)器碼，并進(jìn)行各層次的優(yōu)化，完成這項(xiàng)任務(wù)的正是JIT編譯器。

現(xiàn)在主流的商用虛擬機(jī)（如：Sun HotSpot、IBM J9）中幾乎 都同時包含解釋器和編譯器，三大商用虛擬機(jī)之一的JRockit是個例外，它內(nèi)部沒有解釋器，因此會有啟動相應(yīng)時間長之類的缺點(diǎn)，但它主要是面向服務(wù)端的應(yīng)用，這類應(yīng)用一般不會重點(diǎn)關(guān)注啟動時間。

解釋器與編輯器二者各有優(yōu)勢：

1. 當(dāng)程序需要迅速啟動和執(zhí)行時，解釋器可以首先發(fā)揮作用，省去編譯的時間，立即執(zhí)行；
2. 當(dāng)程序運(yùn)行后，隨著時間的推移，編譯器逐漸會發(fā)揮作用，把越來越多的代碼編譯成本地代碼后，可以獲取更高的執(zhí)行效率；
3. 解釋執(zhí)行可以節(jié)約內(nèi)存，而編譯執(zhí)行可以提升效率；

運(yùn)行過程中會被即時編譯器編譯的“熱點(diǎn)代碼”有兩類：

1. 被多次調(diào)用的方法；
2. 被多次調(diào)用的循環(huán)體；

3.2 Code Cache

Java代碼在執(zhí)行時一旦被編譯器編譯為機(jī)器碼，下一次執(zhí)行的時候就會直接執(zhí)行編譯后的代碼，也就是說，編譯后的代碼被緩存了起來。緩存編譯后的機(jī)器碼的內(nèi)存區(qū)域就是codeCache。這是一塊獨(dú)立于Java堆之外的內(nèi)存區(qū)域。除了JIT編譯的代碼之外，Java所使用的本地方法代碼（JNI）也會存在codeCache中。

Code Cache是JVM用于存儲經(jīng)過JIT C1/C2編譯優(yōu)化后的代碼。因?yàn)槭谴嬖趦?nèi)存中的，所以肯定得限制大小，Code Cache的最大大小可通過 jinfo -flag ReservedCodeCacheSize 來獲取，通常在64 bit機(jī)器上默認(rèn)是48m。

不同版本的JVM、不同的啟動方式codeCache的默認(rèn)大小也不同：

3.3 分層編譯

JVM提供了一個參數(shù)-Xcomp，可以使JVM運(yùn)行在純編譯模式下，所有方法在第一次被調(diào)用的時候就會被編譯成機(jī)器代碼。加上這個參數(shù)之后，隨之而來的問題是啟動時間變得很長，差不多是原來的2倍還多。

除了純編譯方式和默認(rèn)的mixed之外，從JDK6u25開始引入了一種分層編譯的方式。

Hotspot JVM內(nèi)置了2種編譯器，分別是 client方式啟動時用的C1編譯器 和 server方式啟動時用的C2編譯器 。

1. C2編譯器在將代碼編譯成機(jī)器碼之前，需要收集大量的統(tǒng)計(jì)信息以便在編譯的時候做優(yōu)化，因此編譯后的代碼執(zhí)行效率也高，代價是程序啟動速度慢，并且需要比較長的執(zhí)行時間才能達(dá)到最高性能；

2. C1編譯器的目標(biāo)在于使程序盡快進(jìn)入編譯執(zhí)行階段，因此編譯前需要收集的統(tǒng)計(jì)信息比C2少很多，編譯速度也快不少。代價是編譯出的目標(biāo)代碼比C2編譯的執(zhí)行效率要低。

盡管如此，C1編譯的執(zhí)行效率也比解釋執(zhí)行有巨大的優(yōu)勢。分層編譯方式是一種折衷方式，在系統(tǒng)啟動之初執(zhí)行頻率比較高的代碼將先被C1編譯器編譯，以便盡快進(jìn)入編譯執(zhí)行。隨著時間推進(jìn)，一些執(zhí)行頻率高的代碼會被C2編譯器再次編譯，從而達(dá)到更高的性能。

通過以下JVM參數(shù)開啟分層編譯模式：

-XX:+TieredCompilation 

在JDK8中，當(dāng)以server模式啟動時，分層編譯默認(rèn)開啟。需要注意的是，分層編譯方式只能用于server模式中，如果需要關(guān)閉分層編譯，需要加上啟動參數(shù) -XX:-TieredCompilation；如果以client模式啟動，-XX:+TieredCompilation 參數(shù)將會被忽略。

3.4 Code Cache 滿了怎么辦

隨著時間推移，會有越來越多的方法被編譯，codeCache使用量會逐漸增加，直至耗盡。當(dāng)Code Cache用滿了后，會打印下面的日志：

在JDK1.7.0_4之前，你會在jvm的日志里看到這樣的輸出：

Java HotSpot(TM) 64-Bit Server VM warning: CodeCache is full. Compiler has been disabled.

Java HotSpot(TM) 64-Bit Server VM warning: Try increasing the code cache size using -XX:ReservedCodeCacheSize=.

...

“CompilerThread0” java.lang.OutOfMemoryError: requested 2854248 bytes for Chunk::new. Out of swap space?

1. JIT編譯器被停止了，并且不會被重新啟動，此時會回歸到解釋執(zhí)行；

2. 被編譯過的代碼仍然以編譯方式執(zhí)行，但是尚未被編譯的代碼就 只能以解釋方式執(zhí)行了。

針對這種情況，JVM提供了一種比較激進(jìn)的codeCache回收方式：Speculative flushing。

在JDK1.7.0_4之后這種回收方式默認(rèn)開啟，而之前的版本需要通過一個啟動參數(shù)來開啟：-XX:+UseCodeCacheFlushing。

在Speculative flushing開啟的情況下，當(dāng)codeCache將要耗盡時：

1. 最早被編譯的一半方法將會被放到一個old列表中等待回收；

2. 在一定時間間隔內(nèi)，如果old列表中方法沒有被調(diào)用，這個方法就會被從codeCache充清除；

很不幸的是，在JDK1.7中，當(dāng)codeCache耗盡時，Speculative flushing釋放了一部分空間，但是從編譯日志來看，JIT編譯并沒有恢復(fù)正常，并且系統(tǒng)整體性能下降很多，出現(xiàn)大量超時。

在Oracle官網(wǎng)上看到這樣一個Bug：http://bugs.java.com/bugdatabase/view_bug.do?bug_id=8006952 由于codeCache回收算法的問題，當(dāng)codeCache滿了之后會導(dǎo)致編譯線程無法繼續(xù)，并且消耗大量CPU導(dǎo)致系統(tǒng)運(yùn)行變慢。Bug里影響版本是JDK8，但是從網(wǎng)上其他地方的信息看，JDK7應(yīng)該也存在相同的問題，并且沒有被修復(fù)。

所以，目前來看，開啟UseCodeCacheFlushing會導(dǎo)致問題，如下：

1. Code Cache滿了時緊急進(jìn)行清掃工作，它會丟棄一半老的編譯代碼；
2. Code Cache空間降了一半，方法編譯工作仍然可能不會重啟；
3. flushing可能導(dǎo)致高的cpu使用，從而影響性能下降；

3.5 Code Cache 調(diào)優(yōu)

以client模式或者是分層編譯模式運(yùn)行的應(yīng)用，由于需要編譯的類更多（C1編譯器編譯閾值低，更容易達(dá)到編譯標(biāo)準(zhǔn)），所以更容易耗盡codeCache。當(dāng)發(fā)現(xiàn)codeCache有不夠用的跡象（通過上一節(jié)提到的監(jiān)控方式）時，可以通過啟動參數(shù)來調(diào)整codeCache的大小。

-XX:ReservedCodeCacheSize=256M

那具體應(yīng)該設(shè)置為多大合適，根據(jù)監(jiān)控?cái)?shù)據(jù)估算，例如單位時間增長量、系統(tǒng)最長連續(xù)運(yùn)行時間等。如果沒有相關(guān)統(tǒng)計(jì)數(shù)據(jù)，一種推薦的設(shè)置思路是設(shè)置為當(dāng)前值（或者默認(rèn)值）的2倍。

需要注意的是，這個codeCache的值不是越大越好。對于32位JVM，能夠使用的最大內(nèi)存空間為4g。這個4g的內(nèi)存空間不僅包括了java堆內(nèi)存，還包括JVM本身占用的內(nèi)存、程序中使用的native內(nèi)存（比如directBuffer）以及codeCache。如果將codeCache設(shè)置的過大，即使沒有用到那么多，JVM也會為其保留這些內(nèi)存空間，導(dǎo)致應(yīng)用本身可以使用的內(nèi)存減少。對于64位JVM，由于內(nèi)存空間足夠大，codeCache設(shè)置的過大不會對應(yīng)用產(chǎn)生明顯影響。

在JDK 8中，提供了一個啟動參數(shù) -XX:+PrintCodeCache 在JVM停止的時候打印出codeCache的使用情況。其中max_used就是在整個運(yùn)行過程中codeCache的最大使用量。可以通過這個值來設(shè)置一個合理的codeCache大小，在保證應(yīng)用正常運(yùn)行的情況下減少內(nèi)存使用。

3.6 問題解決

問題的前因后果都弄清楚了，也就好解決了。上面提到過純編譯方式和分層編譯方式都可以解決或緩解啟動后負(fù)載過高的問題，那么我們就有2種選擇：

1. 采用分層編譯方式，并修改codeCache的大小為256M；

2. 采用純編譯方式，并修改codeCache的大小為256M；

經(jīng)過一段時間運(yùn)行發(fā)現(xiàn)，在啟動后負(fù)載控制方面，純編譯方式要好一些，啟動之后負(fù)載幾乎不上升，而 分層編譯方式啟動后負(fù)載會有所上升，但是不會很高，也會在較短時間內(nèi)降下來。但是啟動時間方面，分層編譯比原來的默認(rèn)啟動方式縮短了大概10秒（原來啟動需要110-130秒），而純編譯方式啟動時間比原來多了一倍，達(dá)到了250秒甚至更高。所以看起來分層編譯方式是更好的選擇。

然而JDK 7在codeCache的回收方面做的很不好。即使我們將codeCache設(shè)置為256M，線上還是輕易達(dá)到了設(shè)置的報警閾值200M。而且一旦codeCache滿了之后又會導(dǎo)致系統(tǒng)運(yùn)行變慢的問題。所以我們的目標(biāo)指向了JDK 8。

測試表明，JDK 8對codeCache的回收有了很明顯的改善。不僅codeCache的增長比較平緩，而且當(dāng)使用量達(dá)到75%時，回收力度明顯加大，codeCache使用量在這個值上下浮動，并緩慢增長。最重要的是，JIT編譯還在正常執(zhí)行，系統(tǒng)運(yùn)行速度也沒有收到影響。

3.7 運(yùn)行時查看Code Cache

如果想在運(yùn)行時查看code cache的大小，需要寫段代碼，目前只能通過JMX來獲取到Code Cache區(qū)域的使用狀況，代碼類似如下：

import java.io.File;

import javax.management.MBeanServerConnection;
import javax.management.ObjectName;
import javax.management.remote.JMXConnector;
import javax.management.remote.JMXConnectorFactory;
import javax.management.remote.JMXServiceURL;

import com.sun.tools.attach.VirtualMachine;

public class CodeCacheUsage {

    private static final String CONNECTOR_ADDRESS = "com.sun.management.jmxremote.localConnectorAddress";

    public static void main(String[] args) throws Exception {
        if(args.length != 1) {
            System.err.println("Must enter one arg: pid");
            System.exit(0);
        }
        VirtualMachine vm = VirtualMachine.attach(args[0]);
        JMXConnector connector = null;
        try {
            String connectorAddress = vm.getAgentProperties().getProperty(CONNECTOR_ADDRESS);

            if (connectorAddress == null) {
                String agent = vm.getSystemProperties().getProperty("java.home")
                                        + File.separator
                                        + "lib"
                                        + File.separator + "management-agent.jar";
                vm.loadAgent(agent);

                connectorAddress = vm.getAgentProperties().getProperty(CONNECTOR_ADDRESS);
            }

            JMXServiceURL url = new JMXServiceURL(connectorAddress);
            connector = JMXConnectorFactory.connect(url);
            MBeanServerConnection mbeanConn = connector.getMBeanServerConnection();
            ObjectName name = new ObjectName("java.lang:type=MemoryPool,name=Code Cache");
            System.out.println(mbeanConn.getAttribute(name, "Usage"));
        } finally {
            if(connector != null)
                connector.close();
            vm.detach();
        }
    }
}

傳入pid，執(zhí)行上面的代碼后，會輸出類似下面的信息：

javax.management.openmbean.CompositeDataSupport(compositeType=javax.management.openmbean.CompositeType(name=java.lang.management.MemoryUsage,items=
(
(itemName=committed,itemType=javax.management.openmbean.SimpleType(name=java.lang.Long)),
(itemName=init,itemType=javax.management.openmbean.SimpleType(name=java.lang.Long)),
(itemName=max,itemType=javax.management.openmbean.SimpleType(name=java.lang.Long)),
(itemName=used,itemType=javax.management.openmbean.SimpleType(name=java.lang.Long))
)),
contents={committed=50331648, init=2555904, max=50331648, used=48281152})

上面的信息顯示Code Cache區(qū)域初始化的時候?yàn)?555904，最大為50331648，已占用了50331648，使用了48281152。

到此這篇關(guān)于Java Code Cache滿導(dǎo)致應(yīng)用性能降低問題解決的文章就介紹到這了,更多相關(guān)Java Code Cache滿導(dǎo)致應(yīng)用性能降低內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！