使用mmap實(shí)現(xiàn)大文件的復(fù)制(單進(jìn)程和多進(jìn)程)
使用mmap實(shí)現(xiàn)大文件的復(fù)制,供大家參考,具體內(nèi)容如下
典型的文件復(fù)制的流程是:
1、讀?。╢read)被復(fù)制的文件的內(nèi)容。
2、寫(xiě)入(fwrite)到新的文件中去。
使用mmap進(jìn)行文件復(fù)制的流程則是:
1、為被復(fù)制的文件已經(jīng)新文件分別進(jìn)行mmap映射。
2、將被復(fù)制的文件映射的內(nèi)存的內(nèi)容復(fù)制到新文件映射的內(nèi)存。
在知道了基本原理之后,讓我們看看具體的做法,本文只分析使用mmap進(jìn)行大文件復(fù)制的方法
具體的做法
先了解一些使用mmap時(shí),應(yīng)當(dāng)注意的細(xì)節(jié):
- 文件的大小必須要大于等于內(nèi)存映射區(qū)的大小,因此對(duì)于創(chuàng)建的新文件,可以使用文件截?cái)嗪瘮?shù)(ftruncate)來(lái)改變文件的大小和被復(fù)制的文件大小一樣,這樣子才能在映射一個(gè)和被復(fù)制的文件的映射區(qū)一樣大的內(nèi)存映射區(qū)。
- 下面我將使用單進(jìn)程和多進(jìn)程兩種方式來(lái)進(jìn)行mmap文件復(fù)制
單進(jìn)程mmap文件復(fù)制
#include<stdio.h>
#include <string.h>
#include <malloc.h>
#include <unistd.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/mman.h>
/* 首先規(guī)定一下該命令的參數(shù) :
* mycopy 源文件地址 目標(biāo)文件地址
*
* 可能需要的函數(shù):open\read\write\close
* 基本流程:打開(kāi)源文件,讀取內(nèi)容,寫(xiě)到另一個(gè)文件,關(guān)閉文件
* 核心方法:通過(guò)mmap(最快的進(jìn)程間通信方法)
* 如何獲取文件的大?。?
*
*/
unsigned long get_file_byte_num(const char * filename)
{
FILE *fp = fopen(filename, "r");
fseek(fp, 0, SEEK_END);
return ftell(fp);
}
int main(int argc, char ** argv)
{
// 首先解析輸入的參數(shù)得到源文件和目標(biāo)文件
if (argc < 3)
{
perror("參數(shù)輸入不足");
}
int slen = strlen(argv[1]); // 這個(gè)是源文件的名的長(zhǎng)度
int tlen = strlen(argv[2]); // 這個(gè)是目標(biāo)文件名的長(zhǎng)度
char *sname = (char *)malloc(sizeof(char)*(slen + 1));
char *tname = (char*)malloc(sizeof(char)*(tlen + 1));
strcpy(sname, argv[1]);
strcpy(tname, argv[2]);
// 打開(kāi)目標(biāo)文件
// 計(jì)算源文件的大?。ㄗ止?jié)數(shù))
unsigned long byte_num = get_file_byte_num(sname);
printf("文件的長(zhǎng)度為%ld字節(jié)\n", byte_num);
//--------建立 mmap 映射區(qū) --------------
// 獲取被復(fù)制文件的文件描述符
int fd = open(sname, O_RDWR|O_CREAT, 0644);
int tfd = open(tname, O_RDWR|O_CREAT, 0644);
ftruncate(tfd, byte_num);
char *mem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0);
if (mem == MAP_FAILED)
perror("mmap err");
char *tmem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, tfd, 0);
if (tmem == MAP_FAILED)
perror("mmap err");
close(fd); // 內(nèi)存映射區(qū)建立之后,就可以關(guān)閉文件描述符
close(tfd);
memcpy(tmem, mem, byte_num);
// 回收子進(jìn)程,等待拷貝結(jié)束
munmap(mem, byte_num);
munmap(tmem, byte_num);
free(sname);
free(tname);
多進(jìn)程mmap復(fù)制文件
所謂的多進(jìn)程mmap復(fù)制文件,只是做了將復(fù)制的任務(wù)分給多個(gè)進(jìn)程去完成,核心思想不變。
#include<stdio.h>
#include <string.h>
#include <malloc.h>
#include <unistd.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <signal.h>
#include <sys/wait.h>
/* 首先規(guī)定一下該命令的參數(shù) :
* mycopy 源文件地址 目標(biāo)文件地址
*
* 可能需要的函數(shù):open\read\write\close
* 基本流程:打開(kāi)源文件,讀取內(nèi)容,寫(xiě)到另一個(gè)文件,關(guān)閉文件
* 核心方法:通過(guò)mmap(最快的進(jìn)程間通信方法)
* 如何獲取文件的大?。?
*
*/
// 獲取文件的字節(jié)數(shù)
unsigned long get_file_byte_num(const char * filename)
{
FILE *fp = fopen(filename, "r");
fseek(fp, 0, SEEK_END);
return ftell(fp);
}
// sigchld信號(hào)處理函數(shù)
void sigchld_handle(int a)
{
pid_t pid;
while ((pid = waitpid(0,NULL, WNOHANG)) > 0)
{
printf("回收到一個(gè)子進(jìn)程%d\n", pid);
}
}
int main(int argc, char ** argv)
{
// 首先解析輸入的參數(shù)得到源文件和目標(biāo)文件
if (argc < 3)
{
perror("參數(shù)輸入不足");
}
int slen = strlen(argv[1]); // 這個(gè)是源文件的名的長(zhǎng)度
int tlen = strlen(argv[2]); // 這個(gè)是目標(biāo)文件名的長(zhǎng)度
char *sname = (char *)malloc(sizeof(char)*(slen + 1));
char *tname = (char*)malloc(sizeof(char)*(tlen + 1));
strcpy(sname, argv[1]);
strcpy(tname, argv[2]);
// 打開(kāi)目標(biāo)文件
FILE * tfp = fopen(tname, "w"); // 不存在則創(chuàng)建
// 計(jì)算源文件的大?。ㄗ止?jié)數(shù))
unsigned long byte_num = get_file_byte_num(sname);
printf("文件的長(zhǎng)度為%ld字節(jié)\n", byte_num);
//--------建立 mmap 映射區(qū) --------------
// 獲取被復(fù)制文件的文件描述符
int fd = open(sname, O_RDWR|O_CREAT, 0644);
int tfd = open(tname, O_RDWR|O_CREAT, 0644);
ftruncate(tfd, byte_num); // 將tfd指向的文件的大小改變?yōu)閎yte_num
char *mem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0);
char * mem_tmp = mem; // 備份共享內(nèi)存入口地址
if (mem == MAP_FAILED)
perror("MAP_FAILED");
char *tmem = (char*)mmap(NULL, byte_num, PROT_WRITE, MAP_SHARED,tfd, 0);
char * tmem_tmp = tmem;
if (tmem == MAP_FAILED)
perror("mmap err");
close(fd); // 內(nèi)存映射區(qū)建立之后,就可以關(guān)閉文件描述符
close(tfd);
// 父子進(jìn)程之間就可以通過(guò)這個(gè)mem指針進(jìn)行通信了
// 規(guī)定進(jìn)程數(shù)量為5mZ const int num_proc = 5;
// 根據(jù)進(jìn)程數(shù)量,計(jì)算每個(gè)進(jìn)程需要拷貝的字節(jié)數(shù),
// 最后一個(gè)進(jìn)程拷貝剩余的字節(jié)數(shù)。
const int num_proc = 5;
const unsigned long each_proc_byte = byte_num/num_proc;
// 由于可能無(wú)法整除,因此最后一個(gè)進(jìn)程,需要多復(fù)制一些
const unsigned long last_proc_byte = byte_num - each_proc_byte*(num_proc - 1);
// 屏蔽sigchld信號(hào)的系統(tǒng)默認(rèn)處理方式
sigset_t set;
sigemptyset(&set); // 初始化一下set
sigaddset(&set, SIGCHLD);
sigprocmask(SIG_BLOCK, &set, NULL); // 屏蔽
// 循環(huán)創(chuàng)建子進(jìn)程
int i;
pid_t pid;
for(i = 0; i < num_proc - 1; ++i)
{
if ((pid = fork())==-1)
perror("fork error");
if (pid == 0)
break;
}
// -------具體的拷貝過(guò)程---------
if (i == num_proc - 1) // 父進(jìn)程
{
// 設(shè)置信號(hào)捕捉和解除屏蔽
struct sigaction act;
act.sa_handler = sigchld_handle;
sigemptyset(&act.sa_mask); // 處理期間不屏蔽其他信號(hào)
sigaction(SIGCHLD, &act, NULL); // 啟動(dòng)信號(hào)捕獲
sigprocmask(SIG_UNBLOCK, &set, NULL); // 解除SIGCHLD的屏蔽
memcpy(tmem_tmp + each_proc_byte*i, mem_tmp + each_proc_byte*i, last_proc_byte);
}else
{
memcpy(tmem + each_proc_byte*i, mem_tmp + each_proc_byte*i, each_proc_byte);
}
//
// 回收子進(jìn)程,等待拷貝結(jié)束
//
munmap(mem, byte_num);
munmap(tmem, byte_num);
free(sname);
free(tname);
return 0;
}
幾個(gè)問(wèn)題
1、主進(jìn)程什么時(shí)候進(jìn)行munmap才不會(huì)影響其他進(jìn)程使用mmap進(jìn)行復(fù)制。
父子進(jìn)程之間的用戶(hù)空間遵循“讀時(shí)共享、寫(xiě)時(shí)復(fù)制”的原則,mmap肯定是采用的用戶(hù)空間的內(nèi)存,因此我認(rèn)為最好的處理方法,就是每個(gè)進(jìn)程都進(jìn)行munmap。
2、sleep()函數(shù)的注意點(diǎn):
sleep在manpage上的原文解釋為:sleep() makes the calling process sleep until seconds seconds have elapsed or a signal arrives which is not ignored.
也就是說(shuō),結(jié)束sleep的情況又兩種:1.休眠時(shí)間到。2.調(diào)用sleep的進(jìn)程收到一個(gè)信號(hào),且該信號(hào)未被屏蔽,在該信號(hào)處理完成后,理解結(jié)束sleep。
3、子進(jìn)程可能會(huì)比主進(jìn)程結(jié)束的慢,而且不能讓主進(jìn)程阻塞等待子進(jìn)程(通過(guò)信號(hào)捕捉來(lái)回收子進(jìn)程),這種情況下,該如何回收子進(jìn)程?
首先,主進(jìn)程準(zhǔn)備好信號(hào)捕獲回收子進(jìn)程的代碼。其次,能不能回收就隨緣,如果主進(jìn)程先退出了就把子進(jìn)程交給init進(jìn)程回收。所以,不需要擔(dān)心能不能回收的問(wèn)題。
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
C語(yǔ)言正則表達(dá)式詳解 regcomp() regexec() regfree()用法詳解
C語(yǔ)言處理正則表達(dá)式常用的函數(shù)有regcomp()、regexec()、regfree()和regerror(),這里就為大家介紹一下,需要的朋友可以參考一下啊2018-04-04
C語(yǔ)言數(shù)據(jù)結(jié)構(gòu)之簡(jiǎn)易計(jì)算器
這篇文章主要為大家詳細(xì)介紹了C語(yǔ)言數(shù)據(jù)結(jié)構(gòu)之簡(jiǎn)易計(jì)算器,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-11-11
C/C++讀寫(xiě)注冊(cè)表中二進(jìn)制數(shù)據(jù)(代碼示例)
這篇文章主要介紹了使用Windows API 函數(shù)中的RegOpenKeyEx()函數(shù)和RegSetValueEx()函數(shù)來(lái)實(shí)現(xiàn)對(duì)注冊(cè)表某項(xiàng)寫(xiě)入二進(jìn)制鍵值,需要的朋友可以參考下2020-02-02
深入剖析設(shè)計(jì)模式中的組合模式應(yīng)用及在C++中的實(shí)現(xiàn)
這篇文章主要介紹了設(shè)計(jì)模式中的組合模式應(yīng)用及在C++中的實(shí)現(xiàn),組合模式可以清晰地反映出遞歸構(gòu)建樹(shù)狀的組合結(jié)構(gòu),需要的朋友可以參考下2016-03-03

