本文實例為大家分享了mmap實現文件多進程拷貝，供大家參考，具體內容如下
假設有一個超大文件，需對其完成拷貝工作。為提高效率，可采用多進程并行拷貝的方法來實現。假設文件大小為len，共有n個進程對該文件進行拷貝。那每個進程拷貝的字節數應為len/n。但未必一定能整除，我們可以選擇讓最后一個進程負責剩余部分拷貝工作。可使用len % (len/n)將剩余部分大小求出。
為降低實現復雜度，可選用mmap來實現源、目標文件的映射，通過指針操作內存地址，設置每個進程拷貝的起始、結束位置。借助MAP_SHARED選項將內存中所做的修改反映到物理磁盤上。
思路：
//1. 指定創建子進程的個數
//2. 打開源文件
//3. 打開目的文件, 不存在則創建
//4. 獲取文件大小
//5. 根據文件大小拓展目標文件
//6. 為源文件創建映射
//7. 為目標文件創建映射
//8. 求出每個子進程該拷貝的字節數
//9. 創建N個子進程
//10. 子進程完成分塊拷貝(注意最后一個子進程拷貝起始位置)
//11. 釋放映射區
代碼如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
|
#include<stdio.h>#include<stdlib.h>#include <sys/types.h>#include <sys/stat.h>#include <unistd.h>#include <sys/mman.h>#include<sys/wait.h>#include<string.h>#include <fcntl.h> int main(int argc,char*argv[]){ int n; if(argc < 3 || argc > 4) { printf("Enter like this : ./a.out file_src file_dst [proc_number]\n"); exit(1); } else if(argc == 3) //用戶未指定，默認創建5個進程。 n = 5; else n = atoi(argv[3]); //2.打開源文件 int fd_src = open(argv[1],O_RDONLY); if(fd_src < 0) { perror("open"); exit(2); } //3.打開目標文件，不存在就創建，存在則截斷為0的大小。 int fd_dst = open(argv[2],O_RDWR |O_CREAT |O_TRUNC,0664); if(fd_dst < 0) { perror("open"); exit(3); } //4.獲取源文件大小。 struct stat sbuf; int ret = fstat(fd_src,&sbuf); //fd_src所指向的文件信息保存到結構體sbuf中。 if(ret < 0) { perror("fstat"); exit(4); } int flen = sbuf.st_size; //源文件大小。 if(flen < n) //文件長度小于進程個數。 { n = flen; } //5.根據文件大小拓展目標文件。 ret = ftruncate(fd_dst,flen);//將參數fd指定的文件大小改為參數length指定的大小 if(ret < 0) { perror("ftruncate"); exit(5); } //6.為源文件創建映射。// void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);//addr == NULL,表示內核選擇一個合適的地址創建一個length大小的共享內存， char *mp_src = (char*)mmap(NULL,flen,PROT_READ,MAP_SHARED,fd_src,0); //0，表示將fd_src所指向的文件從起始映射到共享內存中，共享內存的權限為只讀，進程間共享。 if(mp_src == MAP_FAILED) //mmap一定要檢查返回值。 { perror("mmap"); exit(6); } close(fd_src); //7.為目標文件創建映射。 char *mp_dst = (char*)mmap(NULL,flen,PROT_READ|PROT_WRITE,MAP_SHARED,fd_dst,0); if(mp_dst == MAP_FAILED) //mmap一定要檢查返回值。 { perror("mmap"); exit(7); } close(fd_dst); //8.求出每個進程拷貝的字節數。 int bs = flen / n; int mod = flen % bs; //求出均分后余下的字節數，讓最后一個子進程處理。 char *temp_src = mp_src; char *temp_dst = mp_dst; //9.創建n個子進程。 int i ; pid_t pid; for(i = 0; i < n; ++i) { printf("create %dth proc\n",i); if( (pid =fork()) == 0 ) break; } if(n == i) //父進程。 { int j = 0; for(j = 0; j < n; ++j) wait(NULL); } else if(i == (n-1)) //10.子進程拷貝，最后一個子進程，它多處理均分后剩下的字節數。 { printf("i = %d\n",i); memcpy(temp_dst+i*bs,temp_src+i*bs,bs+mod); } else if(i == 0) { printf("i = %d\n",i); memcpy(temp_dst,temp_src,bs); } else { printf("i = %d\n",i); memcpy(temp_dst+i*bs,temp_src+i*bs,bs); } //11.釋放映射區。 munmap(mp_src,flen); munmap(mp_dst,flen); return 0;} |
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持服務器之家。
原文鏈接：https://blog.csdn.net/hj605635529/article/details/73072337
