關(guān)于PACKET_MMAP映射的問(wèn)題！��！好神奇！�。。�

HazeC

問(wèn)題產(chǎn)生的來(lái)源:最近一直想著內(nèi)核把數(shù)據(jù)傳遞給應(yīng)用層的方式怎么能快點(diǎn)。ksocket、netlink嘗試之后都放棄了，于是打起來(lái)mmap的主意。
然后就卡殼了，卡殼的原因是內(nèi)核傳遞給應(yīng)用層的數(shù)據(jù)大小不是固定的，而我了解到的mmap函數(shù)實(shí)現(xiàn)里面調(diào)用的remap_pfn_range需要的是一塊連續(xù)的內(nèi)存。
但是如果是連續(xù)內(nèi)存的話，內(nèi)存大小就不可控制了。于是想起了用鏈表存儲(chǔ)每個(gè)buf，然后remap_pfn_range把鏈表映射上去。然而看到remap_pfn_range的參數(shù)就悲劇了。
查找開源實(shí)現(xiàn)，PACKET_MMAP與PF_RING都是采用的mmap方式提交的數(shù)據(jù)。
首先查看的是PF_RING，看代碼

1. tot_mem = sizeof(FlowSlotInfo) + num_slots * the_slot_len;
   
2.   if(tot_mem % PAGE_SIZE)
   
3.     tot_mem += PAGE_SIZE - (tot_mem % PAGE_SIZE);
   
4. 
   
5.   pfr->ring_memory = rvmalloc(tot_mem);
   
6. 
   
7.   if(pfr->ring_memory != NULL) {
   
8. #if defined(RING_DEBUG)
   
9.     printk("[PF_RING] successfully allocated %lu bytes at 0x%08lx\n",
   
10.            (unsigned long)tot_mem, (unsigned long)pfr->ring_memory);
    
11. #endif
    
12.   } else {
    
13.     printk("[PF_RING] ERROR: not enough memory for ring\n");
    
14.     return(-1);
    
15.   }
    
16. 
    
17.   // memset(pfr->ring_memory, 0, tot_mem); // rvmalloc does the memset already
    
18. 
    
19.   pfr->slots_info = (FlowSlotInfo *) pfr->ring_memory;
    
20.   pfr->ring_slots = (char *)(pfr->ring_memory + sizeof(FlowSlotInfo));
    
21. 
    
22.   pfr->slots_info->version = RING_FLOWSLOT_VERSION;
    
23.   pfr->slots_info->slot_len = the_slot_len;
    
24.   pfr->slots_info->data_len = pfr->bucket_len;
    
25.   pfr->slots_info->tot_slots =
    
26.     (tot_mem - sizeof(FlowSlotInfo)) / the_slot_len;
    
27.   pfr->slots_info->tot_mem = tot_mem;
    
28.   pfr->slots_info->sample_rate = 1;

復(fù)制代碼

PF_RING看樣子也是把buf最后放到了一塊固定內(nèi)存里面實(shí)現(xiàn)了。
于是看PACKET_MMAP,看代碼：

1. 
   
2.         start = vma->vm_start;
   
3.         for (rb = &po->rx_ring; rb <= &po->tx_ring; rb++) {
   
4.                 if (rb->pg_vec == NULL)
   
5.                         continue;
   
6. 
   
7.                 for (i = 0; i < rb->pg_vec_len; i++) {
   
8.                         struct page *page = virt_to_page(rb->pg_vec[i]);
   
9.                         int pg_num;
   
10. 
    
11.                         for (pg_num = 0; pg_num < rb->pg_vec_pages;
    
12.                                         pg_num++, page++) {
    
13.                                 err = vm_insert_page(vma, start, page);
    
14.                                 if (unlikely(err))
    
15.                                         goto out;
    
16.                                 start += PAGE_SIZE;
    
17.                         }
    
18.                 }
    
19.         }
    
20. 
    
21.         atomic_inc(&po->mapped);
    
22.         vma->vm_ops = &packet_mmap_ops;

復(fù)制代碼

此處是PACKET_MMAP的mmap實(shí)現(xiàn)�。�！vm_insert_page是把buf合并到了一個(gè)vma，但是最后的映射函數(shù)去哪了。。搜了下整個(gè)文件沒有。。

為什么�。�！

nswcfd

vm_insert_page里面已經(jīng)包含set_pte的操作了。

HazeC

回復(fù) 2# nswcfd

是的、代碼看到了把不同快set到同一個(gè)vma里面，但問(wèn)題是沒看到把vma映射到應(yīng)用層去。奇怪的是這一點(diǎn)

nswcfd

1. #define DRV_NAME        "mmap"
   
2. #define DRV_VERSION        "0.1"
   
3. 
   
4. #include <linux/module.h>
   
5. #include <linux/kernel.h>
   
6. #include <linux/mm.h>
   
7. #include <linux/miscdevice.h>
   
8. 
   
9. static int mmap_chr_close(struct inode *inode, struct file *file)
   
10. {
    
11.         printk("chr close\n");
    
12.         return 0;
    
13. }
    
14. 
    
15. int nomap;
    
16. module_param(nomap, int, 0);
    
17. 
    
18. static struct page *page;
    
19. 
    
20. static void mmap_open(struct vm_area_struct *vma)
    
21. {
    
22.         printk("mmap_open: vma->start=%lx\n", vma->vm_start);
    
23. }
    
24. 
    
25. static void mmap_close(struct vm_area_struct *vma)
    
26. {
    
27.         printk("mmap_close: vma->start=%lx\n", vma->vm_start);
    
28. }
    
29. 
    
30. static struct vm_operations_struct mmap_ops = {
    
31.         .open = mmap_open,
    
32.         .close = mmap_close,
    
33. };
    
34. 
    
35. static int mmap_chr_mmap(struct file *file, struct vm_area_struct *vma)
    
36. {
    
37.         int err = -ENODEV;
    
38.         printk("vma->start=%lx, vma->end=%lx\n", vma->vm_start, vma->vm_end);
    
39.         if (nomap || !page)        
    
40.                 return -ENODEV;
    
41.         printk("page=%p, address=%p\n", page, page_address(page));
    
42.         *(int *)page_address(page) = current->pid;
    
43.         err = vm_insert_page(vma, vma->vm_start, page);
    
44.         if (err)
    
45.                 return err;
    
46.         vma->vm_ops = &mmap_ops;
    
47.         return 0;
    
48. }
    
49. 
    
50. static struct file_operations mmap_fops = {
    
51.         .owner        = THIS_MODULE,        
    
52.         .llseek = no_llseek,
    
53.         .release = mmap_chr_close,
    
54.         .mmap = mmap_chr_mmap,
    
55. };
    
56. 
    
57. #define TUN_MINOR        200
    
58. #define MMAP_MINOR        TUN_MINOR
    
59. 
    
60. static struct miscdevice mmap_miscdev = {
    
61.         .minor = MMAP_MINOR,
    
62.         .name = "mmap",
    
63.         .fops = &mmap_fops,
    
64. };
    
65. 
    
66. static int __init mmap_init(void)
    
67. {
    
68.         int ret = 0;
    
69.         page = alloc_page(GFP_KERNEL);
    
70.         printk("page=%p, addr=%p\n", page, page_address(page));
    
71.         ret = misc_register(&mmap_miscdev);
    
72.         if (ret)
    
73.                 printk(KERN_ERR "mmap: Can't register misc device %d\n", MMAP_MINOR);
    
74.         return ret;
    
75. }
    
76. 
    
77. static void mmap_cleanup(void)
    
78. {
    
79.         if (page)
    
80.                 __free_page(page);
    
81.         misc_deregister(&mmap_miscdev);  
    
82. }
    
83. 
    
84. module_init(mmap_init);
    
85. module_exit(mmap_cleanup);
    
86. MODULE_LICENSE("GPL");
    
87. MODULE_ALIAS_MISCDEV(MMAP_MINOR);

復(fù)制代碼

1. #include <stdio.h>
   
2. #include <unistd.h>
   
3. #include <fcntl.h>
   
4. #include <sys/mman.h>
   
5. 
   
6. int main()
   
7. {
   
8.         int fd = open("mmap_dev", O_RDWR);
   
9.         printf("fd=%d\n", fd);
   
10.         if (fd < 0)
    
11.                 return 1;
    
12.         char *p = mmap(0, 10, PROT_READ|PROT_WRITE, MAP_PRIVATE, fd, 0);
    
13.         printf("mmap=%p\n", p);
    
14.         if (p != MAP_FAILED)
    
15.                 printf("map[0]=%d, pid=%d\n", *(int *)p, getpid());
    
16. }
    

復(fù)制代碼

# ./mmap_test
fd=3
<4>vma->start=2ad8378f7000, vma->end=2ad8378f8000
<4>page=ffff810000b21b78, address=ffff810012d59000
mmap=0x2ad8378f7000
map[0]=4557, pid=4557
<4>mmap_close: vma->start=2ad8378f7000
<4>chr close

注意kernel執(zhí)行fops->mmap的參數(shù)（vma->start）和用戶態(tài)mmap返回的數(shù)值是一樣的。
也就是說(shuō)，在響應(yīng)mmap syscall的時(shí)候，內(nèi)核先分配vma（分配用戶態(tài)線性地址），然后調(diào)用fops->mmap回調(diào)（關(guān)鍵步驟set_pte映射頁(yè)表），最后給用戶態(tài)返回vma->start。

HazeC

回復(fù) 4# nswcfd

萬(wàn)分感謝。剛看到您的回復(fù)，“在響應(yīng)mmap syscall的時(shí)候，內(nèi)核先分配vma（分配用戶態(tài)線性地址），然后調(diào)用fops->mmap回調(diào)（關(guān)鍵步驟set_pte映射頁(yè)表），最后給用戶態(tài)返回vma->start。” 這句話解決了疑惑。
現(xiàn)有個(gè)問(wèn)題是如果我把多個(gè)buf合并到一個(gè)vma的時(shí)候，af_packet.c中如下所示偽代碼
buf1\buf2\buf3f
start = vma->start
foreach(i in 3)
page = virt_to_page(bufi)
vm_insert_page(vma ,start ,page)
start += buf_size;

這段話的意思是不是將多個(gè)buf對(duì)應(yīng)的頁(yè)插入到一個(gè)vma里面去，當(dāng)用戶層調(diào)用mmap的時(shí)候的時(shí)候，用戶層獲取到的內(nèi)存是連續(xù)的，這個(gè)連續(xù)的空間就是vma的作用？
換句話說(shuō) vma這個(gè)實(shí)現(xiàn)了把內(nèi)核多個(gè)非連續(xù)的內(nèi)存空間合并成了一個(gè)連續(xù)的用戶空間？

nswcfd

應(yīng)該是這樣理解吧。
可以看看當(dāng)用戶態(tài)的mmap超過(guò)一個(gè)page的時(shí)候，底層的這些callback的調(diào)用次數(shù)。

HazeC

回復(fù) 6# nswcfd

萬(wàn)分感謝 解答了疑惑