前言

作為 Linux 運(yùn)維工程師，在日常工作中我們會(huì)遇到 Linux服務(wù)器上出現(xiàn)CPU負(fù)載達(dá)到100%居高不下的情況，如果CPU 持續(xù)跑高，則會(huì)影響業(yè)務(wù)系統(tǒng)的正常運(yùn)行，帶來(lái)企業(yè)損失。

很多運(yùn)維的同學(xué)遇到這種狀況往往會(huì)不知所措，對(duì)于CPU過(guò)載問(wèn)題通常使用以下兩種方式即可快速定位：

方法一

第一步：使用

top命令，然后按shift+p按照CPU排序

找到占用CPU過(guò)高的進(jìn)程的pid

第二步：使用

top -H -p [進(jìn)程id]

找到進(jìn)程中消耗資源最高的線程的id

第三步：使用

echo 'obase=16;[線程id]' | bc或者printf "%x\n" [線程id]

將線程id轉(zhuǎn)換為16進(jìn)制（字母要小寫(xiě)）

bc是linux的計(jì)算器命令

第四步：執(zhí)行

jstack [進(jìn)程id] |grep -A 10 [線程id的16進(jìn)制]”

查看線程狀態(tài)信息

方法二

第一步：使用

top命令，然后按shift+p按照CPU排序

找到占用CPU過(guò)高的進(jìn)程

第二步：使用

ps -mp pid -o THREAD,tid,time | sort -rn

獲取線程信息，并找到占用CPU高的線程

第三步：使用

echo 'obase=16;[線程id]' | bc或者printf "%x\n" [線程id]

將需要的線程ID轉(zhuǎn)換為16進(jìn)制格式

第四步：使用

jstack pid |grep tid -A 30 [線程id的16進(jìn)制]

打印線程的堆棧信息

案例分析

場(chǎng)景描述

生產(chǎn)環(huán)境下JAVA進(jìn)程高CPU占用故障排查

解決過(guò)程

1、根據(jù)top命令，發(fā)現(xiàn)PID為2633的Java進(jìn)程占用CPU高達(dá)300%，出現(xiàn)故障。

2、找到該進(jìn)程后，如何定位具體線程或代碼呢，首先顯示線程列表,并按照CPU占用高的線程排序：

[root@localhost ~]# ps -mp 2633 -o THREAD,tid,time | sort -rn

顯示結(jié)果如下：

找到了耗時(shí)最高的線程(TID)3626，占用CPU時(shí)間有12分鐘了！

3、將需要的線程TID轉(zhuǎn)換為16進(jìn)制格式

[root@localhost ~]# printf "%x\n" 3626
e18

4、最后使用jstack命令打印出該進(jìn)程下面的此線程的堆棧信息：

[root@localhost ~]# jstack 2633 |grep "e18" -A 30

相比故障的解決而言，發(fā)現(xiàn)故障也同等的重要！市場(chǎng)上的大多數(shù)監(jiān)控軟件都能實(shí)現(xiàn)服務(wù)器負(fù)載的實(shí)時(shí)觀測(cè)，比如：Zabbix、Nagios、阿里云監(jiān)控（針對(duì)云服務(wù)器）等。但是當(dāng)中大部分的軟件都需要運(yùn)維同學(xué)主動(dòng)去設(shè)置規(guī)則或者檢測(cè)才能發(fā)現(xiàn)問(wèn)題，如何被動(dòng)的也能收到告警呢？

推薦大家一個(gè)實(shí)用的運(yùn)維軟件——王教授，對(duì)于業(yè)務(wù)部署在阿里云上的用戶，只需綁定需要監(jiān)控的只讀AcessKey，即可將云上資源的告警信息及時(shí)通知給對(duì)應(yīng)的團(tuán)隊(duì)成員。

化主動(dòng)為被動(dòng)的方式，一方面減輕了運(yùn)維工程師的工作，另一方面也減小了運(yùn)維漏看或者忽略告警的情況發(fā)生。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。