故障的機(jī)器修好后重啟，狂拉主庫binlog，導(dǎo)致網(wǎng)絡(luò)問題的解決方法
更新時(shí)間：2016年04月23日 10:58:48 作者：張正
本文主要記錄一次簡單的、典型的故障，發(fā)生問題的原因很簡單，這個(gè)問題發(fā)生也很簡單，各位同學(xué)一定要注意，一不留神就會對主庫造成影響
問題簡述：
一周前，有一臺mysql服務(wù)器發(fā)生硬件故障，停機(jī)了。我們給專門負(fù)責(zé)這塊的同學(xué)提交了申請，他們負(fù)責(zé)去報(bào)修這臺服務(wù)器。今天這臺服務(wù)器修好后，他們將其開機(jī)啟動。服務(wù)器上的4個(gè)mysql實(shí)例在開機(jī)后自動啟動，開始拉主庫的binlog。由于這臺服務(wù)器停機(jī)時(shí)間比較久，日志丟的比較多，狂拉主庫的binlog，導(dǎo)致主庫網(wǎng)絡(luò)出現(xiàn)問題。
現(xiàn)象：
首先，我們完全沒有意識到是因?yàn)橐慌_壞掉的服務(wù)器重啟拉主庫binlog導(dǎo)致的，因?yàn)槲覀儔焊恢?這臺服務(wù)器什么情況，只知道1周前，我們報(bào)修了1臺服務(wù)器。具體什么情況，有沒有修好，有沒有開機(jī)，我們完全不知道。
首先，我們完全沒有意識到是因?yàn)橐慌_壞掉的服務(wù)器重啟拉主庫binlog導(dǎo)致的，因?yàn)槲覀儔焊恢?這臺服務(wù)器什么情況，只知道1周前，我們報(bào)修了1臺服務(wù)器。具體什么情況，有沒有修好，有沒有開機(jī)，我們完全不知道。
在這樣的情況下，忽然聽到網(wǎng)絡(luò)的同學(xué)說mysql有一臺機(jī)器網(wǎng)絡(luò)流量過大，導(dǎo)致業(yè)務(wù)感覺很慢，總共持續(xù)了17分鐘。其實(shí)這樣，是沒有多大頭緒的。
排查：
查看processlist、全日志、慢日志都沒有發(fā)現(xiàn)有什么問題。
查看監(jiān)控，發(fā)現(xiàn)那段時(shí)間的服務(wù)器的讀IO驟然升高。
通過查看processlist的歷史記錄，發(fā)現(xiàn)有一段時(shí)間，主從復(fù)制的用戶 狀態(tài)是 waiting for net，通過其IP發(fā)現(xiàn)該服務(wù)器是1周前壞掉的一個(gè)slave服務(wù)器。
結(jié)論：
這臺服務(wù)器上有4個(gè)實(shí)例，服務(wù)器啟動后，mysql實(shí)例自動啟動，開始向主庫上拉binlog，每個(gè)主庫每天的binlog量大概6G，4個(gè)實(shí)例1個(gè)星期大概160多G的binlog。
問題：
1、壞掉的服務(wù)器什么時(shí)候修好，什么時(shí)候開機(jī)，我們不可控，也不知道，也沒有關(guān)注
2、這種案例其實(shí)是很簡單、很典型的可能造成影響或故障的case，我們提前沒有對這個(gè)現(xiàn)象有警覺，雖然知道這是個(gè)很容易出現(xiàn)的問題，但是在我們的case中，完全沒有這方面的意識。因此導(dǎo)致該事件發(fā)生
3、對于網(wǎng)絡(luò)流量這塊，缺乏有效監(jiān)控
解決方法：
1、所有服務(wù)器，取消開機(jī)自動啟動mysql，服務(wù)器開機(jī)后，人為啟動實(shí)例，停slave。（這樣，如果服務(wù)器很多，可能過于麻煩，暫且先這樣記錄下來，總比造成影響強(qiáng)）
2、意識到該問題，將該問題納入避免問題的常識庫或工作手冊中去。
相關(guān)文章
一臺電腦(windows系統(tǒng))安裝兩個(gè)版本MYSQL方法步驟
由于新舊項(xiàng)目數(shù)據(jù)庫版本差距太大,編碼格式不同,引擎也不同,所以只好裝兩個(gè)數(shù)據(jù)庫,這篇文章主要給大家介紹了關(guān)于一臺電腦(windows系統(tǒng))安裝兩個(gè)版本MYSQL的方法步驟,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-03-03
mysql高效查詢left join和group by(加索引)
這篇文章主要給大家介紹了關(guān)于mysql高效查詢left join和group by,這個(gè)的前提是加了索引,以及如何在MySQL高效的join3個(gè)表 的相關(guān)資料,需要的朋友可以參考下2021-06-06
之前在使用MySQL 5.5 Command Line Client時(shí)，無論輸入什么密碼，都出現(xiàn)閃退的情況，糾結(jié)了半天才找到原因，下面小編給大家分享我的解決方法，感興趣的朋友一起看看吧2016-11-11
本篇文章給大家介紹php mysql的安裝與配置，首先給大家介紹安裝配置php，接著介紹配置mysql、安裝mysql，本文介紹的非常詳細(xì)，需要的朋友可以參考下2015-10-10
關(guān)于數(shù)據(jù)庫中的查詢優(yōu)化
這篇文章主要介紹了關(guān)于數(shù)據(jù)庫中的查詢優(yōu)化,對于大型的應(yīng)用系統(tǒng)，數(shù)據(jù)動輒上百萬，就需要了解DBMS對查詢語句的處理過程和優(yōu)化算法，更好的利用其優(yōu)化算法，以提高系統(tǒng)的性能,需要的朋友可以參考下2023-07-07
SQL模糊查詢報(bào):ORA-00909:參數(shù)個(gè)數(shù)無效問題的解決
這篇文章主要介紹了SQL模糊查詢報(bào):ORA-00909:參數(shù)個(gè)數(shù)無效問題的解決，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-06-06
這篇文章主要為大家詳細(xì)介紹了MySQL中元數(shù)據(jù)鎖(MDL)的相關(guān)資料，文中的示例代碼講解詳細(xì)，對我們學(xué)習(xí)有一定的借鑒價(jià)值，需要的可以參考一下2022-09-09
這篇文章主要介紹了mysql 存儲過程詳解的相關(guān)資料,需要的朋友可以參考下2016-09-09
mysql學(xué)習(xí)筆記之完整的select語句用法實(shí)例詳解
這篇文章主要介紹了mysql學(xué)習(xí)筆記之完整的select語句用法,結(jié)合實(shí)例形式詳細(xì)分析了mysql select語句各種常見參數(shù)、使用方法及操作注意事項(xiàng),需要的朋友可以參考下2020-04-04
mysql數(shù)據(jù)如何通過data文件恢復(fù)
這篇文章主要介紹了mysql數(shù)據(jù)如何通過data文件恢復(fù)問題，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-12-12