ELK配置轉存redis緩存采集nginx訪問日志的操作方法
在136服務器上部署mysql

啟動mysql服務

可通過以下命令查找安裝的軟件包

怎么查找安裝軟件的日志文件位置rpm -qc mysql-server,即可顯示mysql.log位置

也可通過查找配置文件中的log關鍵字來查找log文件日志位置

用awk命令,以=切割,輸出第二個字段

rpm -ql 也可查找

編輯logstash配置文件

添加mysql日志信息配置文件

重啟logstash配置文件

登錄前臺查看

只采集nginx日志,配置nginx_logs.conf,修改索引

看到9600端口啟動成功,即配置啟動成功

搜索索引,選擇索引模式,添加新的索引

點擊創(chuàng)建索引模式

重新訪問nginx服務器生成新的nginx日志文件,即可加載出nginx日志文件


以時間字段作為篩選

此時顯示日志配置成功,通過135服務器重新訪問136nginx服務,前臺顯示出訪問信息

添加mysql單獨索引日志顯示服務

但是不能連續(xù)重啟nginx和mysql日志加載配置文件,需要將其配置日志文件放在一個文件夾下,進行加載顯示,配置logstash.yml文件

在配置的目錄下創(chuàng)建配置文件

用以下方式重新啟動配置文件

修改文件pipelines.yml內(nèi)容配置文件目錄


加入該配置文件后,etc目錄下會生成以下文件內(nèi)容

在135服務器上安裝redis服務,配置監(jiān)聽為全網(wǎng)監(jiān)聽

啟動redis服務

進入redis,查看redis中的鍵值

在136上配置用redis緩存技術,將logstash采集的日志存儲到redis中

重新加載配置文件在config文件夾下,執(zhí)行../bin/logstash -f nginx_logs.conf

在135服務器上監(jiān)控redis


雖然有訪問數(shù)據(jù),但是沒有key,不知道哪里原因,重新單獨測試,先寫入redis中
停掉135上的elk進程,直接停掉java進程即可pkill java

編輯logstash配置文件nginx_log.conf,vim nginx_log.conf,刪除之前的寫入els服務模塊內(nèi)容

重新加載配置文件../bin/logstash -f nginx_log.conf

訪問nginx測試頁面

查看redis服務中的鍵值,即可看到訪問信息

至此測試成功,下次測試同時先轉存redis,在轉存到els,在前臺kibana頁面顯示出來
到此這篇關于ELK配置轉存redis緩存,采集nginx訪問日志的文章就介紹到這了,更多相關ELK轉存redis緩存內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
使用Redis實現(xiàn)記錄訪問次數(shù)的三種方案
這篇文章主要介紹了使用Redis實現(xiàn)記錄訪問次數(shù)的三種方案,文中通過代碼示例和圖文講解的非常詳細,對大家的學習或工作有一定的幫助,需要的朋友可以參考下2024-09-09
Deepin UOS編譯安裝Redis的實現(xiàn)步驟
本文主要介紹了Deepin UOS編譯安裝Redis的實現(xiàn)步驟,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2023-01-01
Redis實現(xiàn)每日簽到功能(大數(shù)據(jù)量)
在面對百萬級用戶簽到情況下,傳統(tǒng)數(shù)據(jù)庫存儲和判斷會遇到瓶頸,使用Redis的二進制數(shù)據(jù)類型可實現(xiàn)高效的簽到功能,示例代碼展示了如何調用這些功能,包括當天簽到、補簽以及查詢簽到記錄,PHP結合Redis二進制數(shù)據(jù)類型可有效處理大數(shù)據(jù)量下的簽到問題2024-10-10
深入理解Redis內(nèi)存回收和內(nèi)存淘汰機制
Redis使用多種過期策略和內(nèi)存淘汰機制來管理內(nèi)存,本文主要介紹了深入理解Redis內(nèi)存回收和內(nèi)存淘汰機制, 具有一定的參考價值,感興趣的可以了解一下2024-06-06
Redisson分布式限流器RRateLimiter的使用及原理小結
本文主要介紹了Redisson分布式限流器RRateLimiter的使用及原理小結,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2024-06-06

