rsync備份海量文件時占用大量內(nèi)存的解決方法
linux發(fā)行版中大多都自帶rsync,不過版本比較低,一般都是2.6.X
在2.X的版本中,rsync備份時都是先列表再備份(添加或者刪除),在處理大量文件時,會耗費(fèi)比較多的內(nèi)存。
備份的時候,rsync掃描到的每個文件(目錄也一樣),在它的列表中約占100字節(jié)的內(nèi)存,如果加了--delete參數(shù)的話,占用的內(nèi)存會更多。
例如我這里一臺服務(wù)器,約800萬的圖片,而且更新比較頻繁,文件數(shù)增長比較快,差不多每天增加約10萬張。備份的時候,rsync大約占用了將近2G的內(nèi)存,大量內(nèi)存的占用,造成服務(wù)器物理內(nèi)存不足,進(jìn)而使用到swap,然后產(chǎn)生更高的iowait(交換內(nèi)存),進(jìn)而造成rsync列表更慢,并且影響到服務(wù)器上的業(yè)務(wù)。
對于這樣的情況,在rsync 3.X出現(xiàn)之前,人們普遍給出的建議是把備份操作給拆分成若干個小的備份操作。比如原來有10個圖片目錄一起備份,現(xiàn)在拆成10個備份操作,每次只備份其中一個。另外,還有人建議減小目錄的深度,這樣可以減小目錄的數(shù)量,可以減少rsync占用的內(nèi)存。另外還有個叫做digisync的軟件,是專門用來備份G級數(shù)量的文件的。
rsync 3.X采用的是incremental file list,與原來的 2.X相比,現(xiàn)在是一邊列表一邊備份(添加或刪除)。這對于大量文件的備份操作來說,無疑節(jié)省了很多時間。
實(shí)測發(fā)現(xiàn),rsync 3.0.4備份時占用的內(nèi)存大約時4M,跟一個apache進(jìn)程占用的內(nèi)存差不多。
rsync 的主頁在http://samba.anu.edu.au/rsync/ 目前最新穩(wěn)定版本為 rsync-3.1.1
cd /usr/src/
wget http://samba.anu.edu.au/ftp/rsync/src/rsync-3.1.1.tar.gz
tar xzvf rsync-3.1.1.tar.gz
cd rsync-3.1.1
./configure --prefix=/usr
make
make install
然后運(yùn)行 rsync --version 來看看版本號
需要注意的是,源主機(jī)和目的主機(jī)必須都升級到 rsync 3.X 才能使用到rsync 3.X的新特性。
值得一提的是,自從 2006年11月6號發(fā)布 version 2.6.9以后,一直到08年3月才發(fā)布3.0,使得很長一段時間內(nèi),大家不得不找各種各樣的辦法來處理大量的文件備份操作
相關(guān)文章
完美解決IIS和APACHE的301重定向(帶參數(shù))
感覺BAIDU spider對404的重定向似乎無動于衷,于是近日干脆對原失效的鏈接重新設(shè)置301重定向。2010-11-11
rsync同步數(shù)據(jù)時提示password file must not be&nb
今天服務(wù)器同步數(shù)據(jù)的時候,突然有個命令提示這個錯誤,但其它的機(jī)器又正常,很奇怪,不過通過下面的命令執(zhí)行以下就可以了,windows與linux操作方法一致2024-06-06
iptables如何配置NAT實(shí)現(xiàn)端口轉(zhuǎn)發(fā)
這篇文章主要介紹了iptables如何配置NAT實(shí)現(xiàn)端口轉(zhuǎn)發(fā),本文給大家介紹的非常詳細(xì),感興趣的朋友跟隨小編一起看看吧2024-06-06
解決FileZilla_Server:425 Can''t open data connection 問題詳解
在騰訊云服務(wù)器上安裝FileZilla Server時出現(xiàn)425 Can't open data connection客戶端無法獲取目錄列表的問題,下面就是解決這個問題的方法2018-10-10
禁止IP訪問網(wǎng)站的多種方法分享(linux,php,nginx,apache)
禁止IP訪問網(wǎng)站的各種方法有許多,不同服務(wù)器環(huán)境的方法會所有不同,下面我總結(jié)我們常用的禁止IP訪問網(wǎng)站的實(shí)現(xiàn)配置方法,希望對大家會有所幫助2014-07-07
ISAPI-REWRITE偽靜態(tài)規(guī)則寫法以及說明
ISAPI-REWRITE偽靜態(tài)規(guī)則寫法以及說明,很多朋友對rewrite的規(guī)則不太熟悉,這里介紹下,方便需要的朋友2012-06-06

