Shell+Linux命令實現(xiàn)日志分析
更新時間：2014年08月19日 10:40:43 作者：藍(lán)色夏威夷
這篇文章主要介紹了Shell+Linux命令實現(xiàn)日志分析,本文給出了結(jié)合grep命令、awk命令等實現(xiàn)了幾個常用的日志分析統(tǒng)計長命令,需要的朋友可以參考下
一、列出當(dāng)天訪問次數(shù)最多的IP
命令：
復(fù)制代碼 代碼如下:
cut -d- -f 1 /usr/local/apache2/logs/access_log |uniq -c | sort -rn | head -20
原理：
復(fù)制代碼 代碼如下:
cut
-d, --delimiter=DELIM
use DELIM instead of TAB for field delimiter
表示用-分割，然后-f 1
-f, --fields=LIST
select only these fields; also print any line that contains no
delimiter character, unless the -s option is specified
表示打印第一部分，就是ip
uniq 是將重復(fù)行去掉， -c表示前面前面加上數(shù)目，
sort -rn 就是按照數(shù)字從大到小排序，
head -20取前面20行
最后打印的結(jié)果大概是這樣:
復(fù)制代碼 代碼如下:
217 192.114.71.13
116 124.90.132.65
108 192.114.71.13
102 194.19.140.96
101 217.70.34.173
100 219.235.240.36
116 124.90.132.65
108 192.114.71.13
102 194.19.140.96
101 217.70.34.173
100 219.235.240.36
以下是其他一些分析日志的shell用法：
1、查看當(dāng)天有多少個IP訪問：
復(fù)制代碼 代碼如下:
awk '{print $1}' log_file|sort|uniq|wc -l
2、查看某一個頁面被訪問的次數(shù);
復(fù)制代碼 代碼如下:
grep "/index.php" log_file | wc -l
3、查看每一個IP訪問了多少個頁面：
復(fù)制代碼 代碼如下:
awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file
4、將每個IP訪問的頁面數(shù)進(jìn)行從小到大排序：
復(fù)制代碼 代碼如下:
awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n
5、查看某一個IP訪問了哪些頁面：
復(fù)制代碼 代碼如下:
grep ^111.111.111.111 log_file| awk '{print $1,$7}'
6、去掉搜索引擎統(tǒng)計當(dāng)天的頁面：
復(fù)制代碼 代碼如下:
awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l
7、查看2009年6月21日14時這一個小時內(nèi)有多少IP訪問：
復(fù)制代碼 代碼如下:
awk '{print $4,$1}' log_file | grep 21/Jun/2009:14 | awk '{print $2}'| sort | uniq | wc -l
您可能感興趣的文章:
相關(guān)文章
Shell腳本實現(xiàn)硬盤空間和表空間的使用情況統(tǒng)計并郵件通知
這篇文章主要介紹了Shell腳本實現(xiàn)硬盤空間和表空間的使用情況統(tǒng)計并郵件通知,其中表空間是指oracle數(shù)據(jù)庫里的表空間,需要的朋友可以參考下2014-12-12
這篇文章主要介紹了Linux命令中的符號,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-11-11
這篇文章主要是介紹如何linux下通過腳本自動發(fā)送文本mail郵件，特分享下，方便需要的朋友2013-05-05
這篇文章主要介紹了 詳解Windows與Linux共享文件夾互相訪問的相關(guān)資料,需要的朋友可以參考下2017-03-03
使用命令行將json數(shù)據(jù)導(dǎo)出到csv(一行命令搞定)
這篇文章主要為大家介紹了使用命令行將json數(shù)據(jù)導(dǎo)出到csv,一行命令搞定的方法詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01
這篇文章主要介紹了Linux通過Shell腳本命令修改密碼的兩種方式,不需要任何交互，需要的朋友可以參考下2018-05-05
這篇文章主要介紹了shell腳本中28個特殊字符的作用簡明總結(jié),需要的朋友可以參考下2014-04-04
后臺實時分流文件的shell腳本，有需要的朋友可以參考下2013-02-02
shell是一個用?C?語言編寫的程序,它是用戶使用Linux的橋梁,下面這篇文章主要給大家介紹了關(guān)于shell檢測某個文件/文件夾是否存在的相關(guān)資料,需要的朋友可以參考下2023-06-06
一般情況下使用"telnet ip port"判斷端口通不通.接下來通過本文給大家分享四種方法測試端口通不通，感興趣的朋友一起學(xué)習(xí)吧2016-01-01