Linux中使用數(shù)據(jù)備份同步工具Rsync的實(shí)例教程
對(duì)于運(yùn)維人員來(lái)說(shuō),數(shù)據(jù)備份是最重要的工作之一,rsync就是一款通過(guò)網(wǎng)絡(luò)備份重要數(shù)據(jù)的工具/軟件。
Rsync同樣是一個(gè)在類Unix和Window系統(tǒng)上通過(guò)網(wǎng)絡(luò)在系統(tǒng)間同步文件夾和文件的網(wǎng)絡(luò)協(xié)議,它可以復(fù)制或者顯示目錄并復(fù)制文件。rsync默認(rèn)監(jiān)聽(tīng)TCP 873端口,通過(guò)遠(yuǎn)程shell如rsh和ssh復(fù)制文件。同時(shí)要求必須在遠(yuǎn)程和本地系統(tǒng)上都安裝sync。
Linux上如果沒(méi)有安裝,裝起來(lái)也很簡(jiǎn)單:
# sudo apt-get install rsync #在debian、ubuntu 等在線安裝方法;
# yum install rsync #Fedora、Redhat 等在線安裝方法;
# rpm -ivh rsync #Fedora、Redhat 等rpm包安裝方法;
rsync的主要優(yōu)點(diǎn)是:
速度:最初會(huì)在本地和遠(yuǎn)程之間拷貝所有內(nèi)容。下次,只會(huì)傳輸發(fā)生改變的塊或者字節(jié)。
安全:傳輸可以通過(guò)ssh協(xié)議加密數(shù)據(jù)。
低帶寬:rsync可以在兩端壓縮和解壓數(shù)據(jù)塊。
sync命令語(yǔ)法:
#rsysnc [options] source path destination path
以下將根據(jù)sync的參數(shù)和應(yīng)用場(chǎng)景來(lái)給大家介紹具體的用法:
示例: 1 - 啟用壓縮
[root@localhost /]# rsync -zvr /home/aloft/ /backuphomedir
building file list ... done
.bash_logout
.bash_profile
.bashrc
sent 472 bytes received 86 bytes 1116.00 bytes/sec
total size is 324 speedup is 0.58
上面的rsync命令使用了-z來(lái)啟用壓縮,-v是可視化,-r是遞歸。上面在本地的/home/aloft/和/backuphomedir之間同步。
示例: 2 - 保留文件和文件夾的屬性
[root@localhost /]# rsync -azvr /home/aloft/ /backuphomedir
building file list ... done
./
.bash_logout
.bash_profile
.bashrc
sent 514 bytes received 92 bytes 1212.00 bytes/sec
total size is 324 speedup is 0.53
上面我們使用了-a選項(xiàng),它保留了所有人和所屬組、時(shí)間戳、軟鏈接、權(quán)限,并以遞歸模式運(yùn)行。
示例: 3 - 同步本地到遠(yuǎn)程主機(jī)
root@localhost /]# rsync -avz /home/aloft/ azmath@192.168.1.4:192.168.1.4:/share/rsysnctest/
Password:
building file list ... done
./
.bash_logout
.bash_profile
.bashrc
sent 514 bytes received 92 bytes 1212.00 bytes/sec
total size is 324 speedup is 0.53
上面的命令允許你在本地和遠(yuǎn)程機(jī)器之間同步。你可以看到,在同步文件到另一個(gè)系統(tǒng)時(shí)提示你輸入密碼。在做遠(yuǎn)程同步時(shí),你需要指定遠(yuǎn)程系統(tǒng)的用戶名和IP或者主機(jī)名。
示例: 4 - 遠(yuǎn)程同步到本地
[root@localhost /]# rsync -avz azmath@192.168.1.4:192.168.1.4:/share/rsysnctest/ /home/aloft/
Password:
building file list ... done
./
.bash_logout
.bash_profile
.bashrc
sent 514 bytes received 92 bytes 1212.00 bytes/sec
total size is 324 speedup is 0.53
上面的命令同步遠(yuǎn)程文件到本地。
示例: 5 - 找出文件間的不同
[root@localhost backuphomedir]# rsync -avzi /backuphomedir /home/aloft/
building file list ... done
cd+++++++ backuphomedir/
>f+++++++ backuphomedir/.bash_logout
>f+++++++ backuphomedir/.bash_profile
>f+++++++ backuphomedir/.bashrc
>f+++++++ backuphomedir/abc
>f+++++++ backuphomedir/xyz
sent 650 bytes received 136 bytes 1572.00 bytes/sec
total size is 324 speedup is 0.41
上面的命令幫助你找出源地址和目標(biāo)地址之間文件或者目錄的不同。
示例: 6 - 備份
rsync命令可以用來(lái)備份linux。
你可以在cron中使用rsync安排備份。
0 0 * * * /usr/local/sbin/bkpscript &> /dev/null
vi /usr/local/sbin/bkpscript
rsync -avz -e ‘ssh -p2093′ /home/test/ root@192.168.1.150:/oracle/data/
rsync增量傳輸大文件優(yōu)化技巧:
問(wèn)題:
rsync用來(lái)同步數(shù)據(jù)非常的好用,特別是增量同步。但是有一種情況如果不增加特定的參數(shù)就不是很好用了。比如你要同步多個(gè)幾十個(gè)G的文件,然后網(wǎng)絡(luò)突然斷開(kāi)了一下,這時(shí)候你重新啟動(dòng)增量同步。但是發(fā)現(xiàn)等了好久都沒(méi)有進(jìn)行數(shù)據(jù)傳輸,倒是機(jī)器的IO一直居高不下。
原因:
rsync具體的增量同步算法不太清楚。根據(jù)它的表現(xiàn)來(lái)看,可能在增量同步已經(jīng)存在的一個(gè)文件時(shí),會(huì)校驗(yàn)已傳輸部分?jǐn)?shù)據(jù)是否已源文件一致,校驗(yàn)完成才繼續(xù)增量同步這個(gè)文件剩下的數(shù)據(jù)。所以如果對(duì)一個(gè)大文件以這樣的算法來(lái)增量同步是非?;〞r(shí)間并且占用IO資源的。
方法:
半夜花了一個(gè)多小時(shí)查看了rsync的文檔,發(fā)現(xiàn)有一個(gè)參數(shù)能快速恢復(fù)大文件的增量同步,–append。設(shè)置–append參數(shù)會(huì)在增量同步時(shí)計(jì)算文件大小并直接追加新的數(shù)據(jù)到文件,這樣就省了費(fèi)IO校驗(yàn)的過(guò)程。不過(guò)這個(gè)參數(shù)最好只在源文件和目標(biāo)文件都不會(huì)更改的時(shí)候使用比較安全,比如備份的文件。
相關(guān)文章
Linux中的編碼轉(zhuǎn)換程序convmv的安裝和使用教程
這篇文章主要介紹了Linux中的編碼轉(zhuǎn)換程序convmv的安裝和使用教程,在編程和處理Windows下移動(dòng)過(guò)來(lái)的文件時(shí)經(jīng)常可以用到,需要的朋友可以參考下2016-04-19- 這篇文章主要介紹了Linux中安裝部署Docker管理工具Drone的方法,Drone可以幫助我們更方便地在Docker中克隆、構(gòu)建、測(cè)試和部署代碼,在開(kāi)發(fā)者中人氣很高,需要的朋友可以參考下2016-04-18
- 這篇文章主要介紹了Linux系統(tǒng)中的usr目錄,文中列舉了usr目錄下一些重要子目錄所包含文件的功能,需要的朋友可以參考下2016-04-18
Linux系統(tǒng)中l(wèi)n命令創(chuàng)建軟鏈接與硬鏈接的方法
這篇文章主要介紹了Linux系統(tǒng)中l(wèi)n命令創(chuàng)建軟鏈接與硬鏈接的方法,文中對(duì)軟鏈接與硬鏈接的概念有簡(jiǎn)單明了的講解,需要的朋友可以參考下2016-04-18Linux系統(tǒng)的硬件設(shè)備驅(qū)動(dòng)的底層結(jié)構(gòu)講解
這篇文章主要介紹了Linux系統(tǒng)的硬件設(shè)備驅(qū)動(dòng)的底層結(jié)構(gòu)講解,從硬件的工作流程和內(nèi)核方面進(jìn)行了解析,需要的朋友可以參考下2016-04-18Linux系統(tǒng)中備份和恢復(fù)文件權(quán)限設(shè)置的教程
這篇文章主要介紹了Linux系統(tǒng)中備份和恢復(fù)文件權(quán)限設(shè)置的教程,其要點(diǎn)是針對(duì)文件的文件權(quán)限使用訪問(wèn)控制列表(ACL)進(jìn)行備份和恢復(fù),需要的朋友可以參考下2016-04-14- Linux下手機(jī)adb連接不上怎么辦,今天小編就為大家?guī)?lái)Mac或者linux下adb連接失敗的解決辦法,來(lái)看看吧2016-04-20

