mmap(一種記憶體映射檔案的方法)

mmap(一種記憶體映射檔案的方法)

本詞條是多義詞,共2個義項
更多義項 ▼ 收起列表 ▲

mmap將一個檔案或者其它對象映射進記憶體。檔案被映射到多個頁上,如果檔案的大小不是所有頁的大小之和,最後一個頁不被使用的空間將會清零。mmap在用戶空間映射調用系統中作用很大。

頭檔案 <sys/mman.h>

函式原型

void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset);

int munmap(void* start,size_t length);

基本介紹

  • 外文名:mmap
  • 釋義:一個檔案或者其它對象映射進記憶體
  • 參數:start、length
  • 作用系統:Linux or Unix
條件,參數說明,返回說明,設備操作,系統調用,範例,代碼示例,代碼解釋,結論,其他,其他含義,集成環境,擴展名,

條件

mmap()必須以PAGE_SIZE為單位進行映射,而記憶體也只能以頁為單位進行映射,若要映射非PAGE_SIZE整數倍的地址範圍,要先進行記憶體對齊,強行以PAGE_SIZE的倍數大小進行映射。

參數說明

start:映射區的開始地址,設定為0時表示由系統決定映射區的起始地址。
length:映射區的長度。//長度單位是 以位元組為單位,不足一記憶體頁按一記憶體頁處理
prot:期望的記憶體保護標誌,不能與檔案的打開模式衝突。是以下的某個值,可以通過or運算合理地組合在一起
PROT_EXEC //頁內容可以被執行
PROT_READ //頁內容可以被讀取
PROT_WRITE //頁可以被寫入
PROT_NONE //頁不可訪問
flags:指定映射對象的類型,映射選項和映射頁是否可以共享。它的值可以是一個或者多個以下位的組合體
MAP_FIXED //使用指定的映射起始地址,如果由start和len參數指定的記憶體區重疊於現存的映射空間,重疊部分將會被丟棄。如果指定的起始地址不可用,操作將會失敗。並且起始地址必須落在頁的邊界上。
MAP_SHARED //與其它所有映射這個對象的進程共享映射空間。對共享區的寫入,相當於輸出到檔案。直到msync()或者munmap()被調用,檔案實際上不會被更新。
MAP_PRIVATE //建立一個寫入時拷貝的私有映射。記憶體區域的寫入不會影響到原檔案。這個標誌和以上標誌是互斥的,只能使用其中一個。
MAP_DENYWRITE //這個標誌被忽略。
MAP_EXECUTABLE //同上
MAP_NORESERVE //不要為這個映射保留交換空間。當交換空間被保留,對映射區修改的可能會得到保證。當交換空間不被保留,同時記憶體不足,對映射區的修改會引起段違例信號。
MAP_LOCKED //鎖定映射區的頁面,從而防止頁面被交換出記憶體。
MAP_GROWSDOWN //用於堆疊,告訴核心VM系統,映射區可以向下擴展。
MAP_ANONYMOUS //匿名映射,映射區不與任何檔案關聯。
MAP_ANON //MAP_ANONYMOUS的別稱,不再被使用。
MAP_FILE //兼容標誌,被忽略。
MAP_32BIT //將映射區放在進程地址空間的低2GB,MAP_FIXED指定時會被忽略。當前這個標誌只在x86-64平台上得到支持。
MAP_POPULATE //為檔案映射通過預讀的方式準備好頁表。隨後對映射區的訪問不會被頁違例阻塞。
MAP_NONBLOCK //僅和MAP_POPULATE一起使用時才有意義。不執行預讀,只為已存在於記憶體中的頁面建立頁表入口。
fd:有效的檔案描述詞。一般是由open()函式返回,其值也可以設定為-1,此時需要指定flags參數中的MAP_ANON,表明進行的是匿名映射。
off_toffset:被映射對象內容的起點。

返回說明

成功執行時,mmap()返回被映射區的指針munmap()返回0。失敗時,mmap()返回MAP_FAILED[其值為(void *)-1],munmap返回-1。errno被設為以下的某個值
EACCES:訪問出錯
EAGAIN:檔案已被鎖定,或者太多的記憶體已被鎖定
EBADF:fd不是有效的檔案描述詞
EINVAL:一個或者多個參數無效
ENFILE:已達到系統對打開檔案的限制
ENODEV:指定檔案所在的檔案系統不支持記憶體映射
ENOMEM:記憶體不足,或者進程已超出最大記憶體映射數量
EPERM:權能不足,操作不允許
ETXTBSY:已寫的方式打開檔案,同時指定MAP_DENYWRITE標誌
SIGSEGV:試著向唯讀區寫入
SIGBUS:試著訪問不屬於進程的記憶體區

設備操作

mmap操作提供了一種機制,讓用戶程式直接訪問設備記憶體,這種機制,相比較在用戶空間核心空間互相拷貝數據,效率更高。在要求高性能的套用中比較常用。mmap映射記憶體必須是頁面大小的整數倍,面向流的設備不能進行mmap,mmap的實現和硬體有關。

系統調用

mmap()系統調用使得進程之間通過映射同一個普通檔案實現共享記憶體。普通檔案被映射到進程地址空間後,進程可以像訪問普通記憶體一樣對檔案進行訪問,不必再調用read(),write()等操作。
註:實際上,mmap()系統調用並不是完全為了用於共享記憶體而設計的。它本身提供了不同於一般對普通檔案的訪問方式,進程可以像讀寫記憶體一樣對普通檔案的操作。而Posix或System V的共享記憶體IPC則純粹用於共享目的,當然mmap()實現共享記憶體也是其主要套用之一。
1、mmap()系統調用形式如下:
void* mmap ( void * addr , size_t len , int prot , int flags , int fd , off_t offset )
參數fd為即將映射到進程空間的檔案描述字,一般由open()返回,同時,fd可以指定為-1,此時須指定flags參數中的MAP_ANON,表明進行的是匿名映射(不涉及具體的檔案名稱,避免了檔案的創建及打開,很顯然只能用於具有親緣關係的進程間通信)。len是映射到調用進程地址空間的位元組數,它從被映射檔案開頭offset個位元組開始算起。prot 參數指定共享記憶體的訪問許可權。可取如下幾個值的或:PROT_READ(可讀) , PROT_WRITE (可寫), PROT_EXEC (可執行), PROT_NONE(不可訪問)。flags由以下幾個常值指定:MAP_SHARED , MAP_PRIVATE , MAP_FIXED,其中,MAP_SHARED , MAP_PRIVATE必選其一,而MAP_FIXED則不推薦使用。offset參數一般設為0,表示從檔案頭開始映射。參數addr指定檔案應被映射到進程空間的起始地址,一般被指定一個空指針,此時選擇起始地址的任務留給核心來完成。函式的返回值為最後檔案映射到進程空間的地址,進程可直接操作起始地址為該值的有效地址。這裡不再詳細介紹mmap()的參數,讀者可參考mmap()手冊頁獲得進一步的信息。
2、系統調用mmap()用於共享記憶體的兩種方式:
(1)使用普通檔案提供的記憶體映射:適用於任何進程之間;此時,需要打開或創建一個檔案,然後再調用mmap();典型調用代碼如下:
fd=open(name, flag, mode);
if(fd<0)
...
ptr=mmap(NULL, len , PROT_READ|PROT_WRITE, MAP_SHARED , fd , 0); 通過mmap()實現共享記憶體的通信方式有許多特點和要注意的地方,我們將在範例中進行具體說明。
(2)使用特殊檔案提供匿名記憶體映射:適用於具有親緣關係的進程之間;由於父子進程特殊的親緣關係,在父進程中先調用mmap(),然後調用fork()。那么在調用fork()之後,子進程繼承父進程匿名映射後的地址空間,同樣也繼承mmap()返回的地址,這樣,父子進程就可以通過映射區域進行通信了。注意,這裡不是一般的繼承關係。一般來說,子進程單獨維護從父進程繼承下來的一些變數。而mmap()返回的地址,卻由父子進程共同維護。
對於具有親緣關係的進程實現共享記憶體最好的方式應該是採用匿名記憶體映射的方式。此時,不必指定具體的檔案,只要設定相應的標誌即可,參見範例2。
3、系統調用munmap()
int munmap( void * addr, size_t len )
該調用在進程地址空間中解除一個映射關係,addr是調用mmap()時返回的地址,len是映射區的大小。當映射關係解除後,對原來映射地址的訪問將導致段錯誤發生。
4、系統調用msync()
int msync ( void * addr , size_t len, int flags)
一般說來,進程在映射空間的對共享內容的改變並不直接寫回到磁碟檔案中,往往在調用munmap()後才執行該操作。可以通過調用msync()實現磁碟上檔案內容與共享記憶體區的內容一致。

範例


下面將給出使用mmap()的一個範例:範例1給出兩個進程通過映射普通檔案實現共享記憶體通信;系統調用 mmap()有許多有趣的地方,下面是通過mmap()映射普通檔案實現進程間的通信的範例,我們通過該範例來說明mmap()實現共享記憶體的特點及注意事項。
範例1:兩個進程通過映射普通檔案實現共享記憶體通信
範例1包含兩個子程式:map_normalfile1.c及map_normalfile2.c。編譯兩個程式,執行檔分別為 map_normalfile1及map_normalfile2。兩個程式通過命令行參數指定同一個檔案來實現共享記憶體方式的進程間通信。 map_normalfile1試圖打開命令行參數指定的一個普通檔案,把該檔案映射到進程的地址空間,並對映射後的地址空間進行寫操作。 map_normalfile2把命令行參數指定的檔案映射到進程地址空間,然後對映射後的地址空間執行讀操作。這樣,兩個進程通過命令行參數指定同一個檔案來實現共享記憶體方式的進程間通信。

代碼示例


下面是兩個程式代碼:
/*-------------map_normalfile1.c-----------*/#include<sys/mman.h>#include<sys/types.h>#include<fcntl.h>#include<string.h>#include<stdio.h>#include<unistd.h>#include <errno.h>typedef struct{    char name[4];    int age;}people;void main(int argc,char **argv)//map a normal file as shared mem:{    int fd,i;    people *p_map;    char temp;    fd = open(argv[1],O_CREAT|O_RDWR|O_TRUNC,00777);    lseek(fd,sizeof(people)*5-1,SEEK_SET);    write(fd,"",1);    p_map=(people*)mmap(NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);    if (p_map == (void *)-1)    {        fprintf(stderr, "mmap: %s\n", strerror(errno));        return ;    }    close(fd);    temp='a';    for(i=0;i<10;i++)    {        temp+=1;        (*(p_map+i)).name[1] = '\0';        memcpy((*(p_map+i)).name,&temp,1);        (*(p_map+i)).age=20+i;    }    printf("initializeover\n");    sleep(10);    munmap(p_map,sizeof(people)*10);    printf("umapok\n");}/*-------------map_normalfile2.c-----------*/#include<sys/mman.h>#include<sys/types.h>#include<fcntl.h>#include<stdio.h>#include<unistd.h>#include <errno.h>typedef struct{    char name[4];    int age;}people;void main(int argc,char **argv)//map a normal file as shared mem:{    int fd,i;    people *p_map;    fd=open(argv[1],O_CREAT|O_RDWR,00777);    p_map=(people*)mmap(NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);    if (p_map == (void *)-1)    {        fprintf(stderr, "mmap: %s\n", strerror(errno));        return ;    }    for(i=0;i<10;i++)    {        printf("name:%s age%d;\n",(*(p_map+i)).name,(*(p_map+i)).age);    }    munmap(p_map,sizeof(people)*10);}

代碼解釋

map_normalfile1.c 首先定義了一個people數據結構,(在這裡採用數據結構的方式是因為,共享記憶體區的數據往往是有固定格式的,這由通信的各個進程決定,採用結構的方式有普遍代表性)。map_normfile1首先打開或創建一個檔案,並把檔案的長度設定為5個people結構大小。然後從mmap()的返回地址開始,設定了10個people結構。然後,進程睡眠10秒鐘,等待其他進程映射同一個檔案,最後解除映射。
map_normfile2.c只是簡單的映射一個檔案,並以people數據結構的格式從mmap()返回的地址處讀取10個people結構,並輸出讀取的值,然後解除映射。
分別把兩個程式編譯成執行檔map_normalfile1和map_normalfile2後,在一個終端上先運行./map_normalfile1 /tmp/test_shm,程式輸出結果如下:
initialize over
umap ok
在map_normalfile1輸出initialize over 之後,輸出umap ok之前,在另一個終端上運行map_normalfile2 /tmp/test_shm,將會產生如下輸出(為了節省空間,輸出結果為稍作整理後的結果):
name: b age 20; name: c age 21; name: d age 22; name: e age 23; name: f age 24;
name: g age 25; name: h age 26; name: I age 27; name: j age 28; name: k age 29;
在map_normalfile1 輸出umap ok後,運行map_normalfile2則輸出如下結果:
name: b age 20; name: c age 21; name: d age 22; name: e age 23; name: f age 24;
name: age 0; name: age 0; name: age 0; name: age 0; name: age 0;

結論


從程式的運行結果中可以得出的結論
1、 最終被映射檔案的內容的長度不會超過檔案本身的初始大小,即映射不能改變檔案的大小;
2、可以用於進程通信的有效地址空間大小大體上受限於被映射檔案的大小,但不完全受限於檔案大小。打開檔案被截短為5個people結構大小,而在 map_normalfile1中初始化了10個people數據結構,在恰當時候(map_normalfile1輸出initialize over 之後,輸出umap ok之前)調用map_normalfile2會發現map_normalfile2將輸出全部10個people結構的值,後面將給出詳細討論。
註:在linux中,記憶體的保護是以頁為基本單位的,即使被映射檔案只有一個位元組大小,核心也會為映射分配一個頁面大小的記憶體。當被映射檔案小於一個頁面大小時,進程可以對從mmap()返回地址開始的一個頁面大小進行訪問,而不會出錯;但是,如果對一個頁面以外的地址空間進行訪問,則導致錯誤發生,後面將進一步描述。因此,可用於進程間通信的有效地址空間大小不會超過檔案大小及一個頁面大小的和。
3、檔案一旦被映射後,調用mmap()的進程對返回地址的訪問是對某一記憶體區域的訪問,暫時脫離了磁碟上檔案的影響。所有對mmap()返回地址空間的操作只在記憶體中有意義,只有在調用了munmap()後或者msync()時,才把記憶體中的相應內容寫回磁碟檔案,所寫內容仍然不能超過檔案的大小。

其他

munmap執行相反的操作,刪除特定地址區域的對象映射,基於檔案的映射,在mmap和munmap執行過程的任何時刻,被映射檔案的st_atime可能被更新。如果st_atime欄位在前述的情況下沒有得到更新,首次對映射區的第一個頁索引時會更新該欄位的值。用PROT_WRITE 和 MAP_SHARED標誌建立起來的檔案映射其st_ctime 和 st_mtime,在對映射區寫入之後但在msync()通過MS_SYNC 和 MS_ASYNC兩個標誌調用之前會被更新

其他含義

集成環境

mmap是mac+mysql+apache+php的集成環境的簡稱,主要用於在mac本地快速創建php環境,對於phper是相當不錯的軟體。

擴展名

.mmap是思維導圖MindManager軟體的存儲格式.
winxp下的樣例檔案圖示winxp下的樣例檔案圖示

相關詞條

熱門詞條

聯絡我們