Linux內(nèi)核IP Queue機制的分析（三）——ip_queue內(nèi)核模塊的分析

Godbach

本文分析ip_queue的內(nèi)核態(tài)源碼。文中如有任何疏漏和差錯，歡迎各位朋友指正。

        本文歡迎自由轉(zhuǎn)載，但請標明出處，并保證本文的完整性。
        作者：Godbach
        Blog：http://Godbach.cublog.cn
        日期：2010/01/04
       
本系列的前兩篇文章如下：
1. Linux內(nèi)核IP Queue機制的分析（一）——用戶態(tài)接收數(shù)據(jù)包
        http://blog.chinaunix.net/u/33048/showart_1678213.html
2. Linux內(nèi)核IP Queue機制的分析（二）——用戶態(tài)處理并回傳數(shù)據(jù)包
http://blog.chinaunix.net/u/33048/showart_1839753.html
本文大綱如下：
一、IP Queue的生效
二、網(wǎng)絡層中IP報文進入IP Queue的流程
三、ip_queue代碼分析
（一）數(shù)據(jù)結構的定義
（二）ip_queue模塊的加載和卸載
（三）ip_queue報文入隊處理函數(shù)的注冊
（四）入隊函數(shù)ipq_enqueue_packet —— 發(fā)送數(shù)據(jù)包到用戶空間
（五）接收和處理用戶空間的配置—— 接收用戶空間的數(shù)據(jù)包
（六）數(shù)據(jù)包的最終處理

[ 本帖最后由 Godbach 于 2010-1-5 15:08 編輯 ]

Godbach

一、IP Queue的生效
數(shù)據(jù)包能夠進入ip_queue模塊，需要兩個動作：
（1）模塊的加載：modprobe ip_queue
（2）NF上對數(shù)據(jù)包執(zhí)行NF_QUEUE的動作，這個可以通過用戶態(tài)配置一條iptables規(guī)則實現(xiàn)：
        iptables -A INPUT -p tcp --dport 21 -j QUEUE
        這里假設對發(fā)往本機的TCP報文端口為21的進行QUEUE。
有了以上兩個步驟， 所有匹配到（2）中的報文將會調(diào)用IP Queue模塊的相關函數(shù)。

二、網(wǎng)絡層中IP報文進入IP Queue的流程
        本文中分析的代碼的內(nèi)核版本為2.6.18.3.
這里我們以本地接收報文為例，如果是轉(zhuǎn)發(fā)的報文，可比照著分析即可。
IP層接收報文的函數(shù)為：ip_rcv()（ip_input.c）。該函數(shù)對報文進行一些初步的檢查后，就將報文交給PREROUTING Hook點注冊的鉤子函數(shù)處理：

1.         return NF_HOOK(PF_INET, NF_IP_PRE_ROUTING, skb, dev, NULL,
   
2.                        ip_rcv_finish);

復制代碼

由以上代碼可見，報文經(jīng)過鉤子函數(shù)之后，由ip_rcv_finish()接著處理。該函數(shù)主要完成數(shù)據(jù)報文的路由查找。
如果是發(fā)往本地的報文，則會調(diào)用ip_local_deliver()函數(shù)：

1.         return NF_HOOK(PF_INET, NF_IP_LOCAL_IN, skb, skb->dev, NULL,
   
2.                        ip_local_deliver_finish);

復制代碼

該函數(shù)主要功能就是將報文交給NF_IP_LOCAL_IN hook點的鉤子函數(shù)進行處理。我們在第一部分中添加的一條iptables規(guī)則就是對于經(jīng)過INPUT鏈的TCP報文且目的端口21執(zhí)行動作QUEUE。如果此時用戶空間已經(jīng)開啟socket等待接收IP Queue報文的話，那么對應的報文就會進入用戶空間，然后就可以參照我們之前提供的用戶空間例程進行處理。
這里，我們簡單列出在NF_IP_LOCAL_IN中NF_HOOK宏的調(diào)用函數(shù)過程：
NF_HOOK()->NF_HOOK_THRESH()->nf_hook_thresh()->nf_hook_slow()
當nf_hook_slow函數(shù)返回值為NF_QUEUE時，進一步調(diào)用nf_queue()。該函數(shù)對所有動作為QUEUE的報文進行處理，其中關鍵的一行代碼如下：

1.         status = queue_handler[pf]->outfn(*skb, info, queuenum,
   
2.                                           queue_handler[pf]->data);

復制代碼

這行代碼就是將報文按照IP層的協(xié)議交給對應的queue handler。IPv4協(xié)議中注冊的queue handler為ipq_enqueue_packet()，即我們要分寫ip_queue模塊的代碼。
至此，需要QUEUE的報文已經(jīng)走入了我們要分析ip_queue，我們下面就開始走入正題，分析ip_queue的代碼。

--未完待續(xù)

Godbach

三、ip_queue代碼分析
        ip_queue模塊的代碼較為簡單，包含ip_queue.h和ip_queue.c。我們將分別該兩個源文件進行分析。
（一）數(shù)據(jù)結構的定義
        ip_queue模塊的數(shù)據(jù)結構定義在頭文件ip_queue.h中，主要定義了用于在內(nèi)核態(tài)和用戶態(tài)傳輸數(shù)據(jù)的相關數(shù)據(jù)結構。其代碼如下：

1. /*
   
2. * This is a module which is used for queueing IPv4 packets and
   
3. * communicating with userspace via netlink.
   
4. *
   
5. * (C) 2000 James Morris, this code is GPL.
   
6. */
   
7. #ifndef _IP_QUEUE_H
   
8. #define _IP_QUEUE_H
   
9. 
   
10. #ifdef __KERNEL__
    
11. #ifdef DEBUG_IPQ
    
12. #define QDEBUG(x...) printk(KERN_DEBUG ## x)
    
13. #else
    
14. #define QDEBUG(x...)
    
15. #endif  /* DEBUG_IPQ */
    
16. #else
    
17. #include <net/if.h>
    
18. #endif        /* ! __KERNEL__ */
    
19. 
    
20. /* 內(nèi)核態(tài)發(fā)送到用戶態(tài)的消息的數(shù)據(jù)結構*/
    
21. typedef struct ipq_packet_msg {
    
22.         unsigned long packet_id;        /* ID of queued packet */
    
23.         unsigned long mark;                /* Netfilter mark value */
    
24.         long timestamp_sec;                /* Packet arrival time (seconds) */
    
25.         long timestamp_usec;                /* Packet arrvial time (+useconds) */
    
26.         unsigned int hook;                /* Netfilter hook we rode in on */
    
27.         char indev_name[IFNAMSIZ];        /* Name of incoming interface */
    
28.         char outdev_name[IFNAMSIZ];        /* Name of outgoing interface */
    
29.         unsigned short hw_protocol;        /* Hardware protocol (network order) */
    
30.         unsigned short hw_type;                /* Hardware type */
    
31.         unsigned char hw_addrlen;        /* Hardware address length */
    
32.         unsigned char hw_addr[8];        /* Hardware address */
    
33.         size_t data_len;                /* Length of packet data */
    
34.         unsigned char payload[0];        /* Optional packet data */
    
35. } ipq_packet_msg_t;
    
36. 
    
37. /* 用戶態(tài)發(fā)送到內(nèi)核態(tài)的模式消息 */
    
38. typedef struct ipq_mode_msg {
    
39.         unsigned char value;                /* Requested mode */
    
40.         size_t range;                        /* Optional range of packet requested */
    
41. } ipq_mode_msg_t;
    
42. 
    
43. /* 用戶態(tài)發(fā)送到內(nèi)核態(tài)的斷言消息 */
    
44. typedef struct ipq_verdict_msg {
    
45.         unsigned int value;                /* Verdict to hand to netfilter */
    
46.         unsigned long id;                /* Packet ID for this verdict */
    
47.         size_t data_len;                /* Length of replacement data */
    
48.         unsigned char payload[0];        /* Optional replacement packet */
    
49. } ipq_verdict_msg_t;
    
50. 
    
51. /*統(tǒng)一封裝起來的用戶態(tài)發(fā)內(nèi)核態(tài)的信息的數(shù)據(jù)結構*/
    
52. typedef struct ipq_peer_msg {
    
53.         union {
    
54.                 ipq_verdict_msg_t verdict;
    
55.                 ipq_mode_msg_t mode;
    
56.         } msg;
    
57. } ipq_peer_msg_t;
    
58. 
    
59. /* 報文傳輸?shù)哪Ｊ?/
    
60. enum {
    
61.         IPQ_COPY_NONE,                /* Initial mode, packets are dropped */
    
62.         IPQ_COPY_META,                /* Copy metadata */
    
63.         IPQ_COPY_PACKET                /* Copy metadata + packet (range) */
    
64. };
    
65. #define IPQ_COPY_MAX IPQ_COPY_PACKET
    
66. 
    
67. /* IP Queue消息的類型 */
    
68. #define IPQM_BASE        0x10        /* standard netlink messages below this */
    
69. #define IPQM_MODE        (IPQM_BASE + 1)                /* Mode request from peer */
    
70. #define IPQM_VERDICT        (IPQM_BASE + 2)                /* Verdict from peer */
    
71. #define IPQM_PACKET        (IPQM_BASE + 3)                /* Packet from kernel */
    
72. #define IPQM_MAX        (IPQM_BASE + 4)
    
73. 
    
74. #endif /*_IP_QUEUE_H*/

復制代碼

該頭文件中定義的相關數(shù)據(jù)結構和宏應該和用戶空間引用的頭文件的內(nèi)容是保持一致的。因此，對于該文件中的數(shù)據(jù)結構的詳細解釋，可以參考本系列文章的第一篇《Linux內(nèi)核IP Queue機制的分析（一）——用戶態(tài)接收數(shù)據(jù)包》中第二部分IP Queue編程接口。

（二）ip_queue模塊的加載和卸載
分析一個內(nèi)核模塊的源代碼，通常我們先看模塊加載時做哪些工作，這樣就可以了解到模塊具體的功能會在什么條件下執(zhí)行。而模塊的卸載通常就是將模塊加載時注冊的函數(shù)和申請的資源進行釋放等工作。因此，這里簡單的分析一下init函數(shù)的實現(xiàn)，代碼在ip_queue.c中。

1. 
   
2. static int __init ip_queue_init(void)
   
3. {
   
4.         int status = -ENOMEM;
   
5.         struct proc_dir_entry *proc;
   
6.         /*注冊netlink的通知鏈*/
   
7.         netlink_register_notifier(&ipq_nl_notifier);
   
8.         /*內(nèi)核態(tài)創(chuàng)建netlink的socket，并注冊ipq_rcv_sk函數(shù)實現(xiàn)接收用戶空間下發(fā)的配置數(shù)據(jù)*/
   
9.         ipqnl = netlink_kernel_create(NETLINK_FIREWALL, 0, ipq_rcv_sk,
   
10.                                       THIS_MODULE);
    
11.         if (ipqnl == NULL) {
    
12.                 printk(KERN_ERR "ip_queue: failed to create netlink socket\n");
    
13.                 goto cleanup_netlink_notifier;
    
14.         }
    
15.        
    
16.         /*注冊proc文件*/
    
17.         proc = proc_net_create(IPQ_PROC_FS_NAME, 0, ipq_get_info);
    
18.         if (proc)
    
19.                 proc->owner = THIS_MODULE;
    
20.         else {
    
21.                 printk(KERN_ERR "ip_queue: failed to create proc entry\n");
    
22.                 goto cleanup_ipqnl;
    
23.         }
    
24.         /*注冊網(wǎng)絡設備的通知鏈*/
    
25.         register_netdevice_notifier(&ipq_dev_notifier);
    
26.         ipq_sysctl_header = register_sysctl_table(ipq_root_table, 0);
    
27.         /*注冊IP Queue機制的報文處理結構，主要包含一個報文的入隊處理函數(shù)，下面具體分析*/
    
28.         status = nf_register_queue_handler(PF_INET, &nfqh);
    
29.         if (status < 0) {
    
30.                 printk(KERN_ERR "ip_queue: failed to register queue handler\n");
    
31.                 goto cleanup_sysctl;
    
32.         }
    
33.         return status;
    
34. 
    
35. cleanup_sysctl:
    
36.         unregister_sysctl_table(ipq_sysctl_header);
    
37.         unregister_netdevice_notifier(&ipq_dev_notifier);
    
38.         proc_net_remove(IPQ_PROC_FS_NAME);
    
39.        
    
40. cleanup_ipqnl:
    
41.         sock_release(ipqnl->sk_socket);
    
42.         mutex_lock(&ipqnl_mutex);
    
43.         mutex_unlock(&ipqnl_mutex);
    
44.        
    
45. cleanup_netlink_notifier:
    
46.         netlink_unregister_notifier(&ipq_nl_notifier);
    
47.         return status;
    
48. }

復制代碼

IP Queue模塊的初始化函數(shù)最重要的兩個工作：
（1）創(chuàng)建用于IP Queue的netlink socket，實現(xiàn)接收用戶態(tài)的數(shù)據(jù)的函數(shù)ipq_rcv_sk()；
（2）注冊IP Queue報文的入隊處理函數(shù)，并將數(shù)據(jù)包按照用戶的配置將相關信息發(fā)向用戶空間。當NF框架的hook函數(shù)對報文的處理返回NF_QUEUE時，該函數(shù)作為報文下一步被處理的入口函數(shù)。
模塊初始化中還有一些其他諸如注冊通知鏈的工作，這里我們不作具體分析，想了解相關細節(jié)的朋友可以查閱具體的資料。至于通知鏈的相關知識，也可以參考論壇上scutan兄的精華帖《內(nèi)核通知鏈 學習筆記》。鏈接：
http://linux.chinaunix.net/bbs/viewthread.php?tid=1051266。

--未完待續(xù)

Godbach

（三）ip_queue報文入隊處理函數(shù)的注冊
   在上面分析的模塊注冊代碼中，IP Queue的報文入隊處理函數(shù)的注冊是通過調(diào)用nf_register_queue_handler()來實現(xiàn)的。因此，有必要了解一下該函數(shù)的源碼，源碼位于nf_queue.c中：

1. /* return EBUSY when somebody else is registered, return EEXIST if the
   
2. * same handler is registered, return 0 in case of success. */
   
3. int nf_register_queue_handler(int pf, struct nf_queue_handler *qh)
   
4. {      
   
5.         int ret;
   
6.         /*IP協(xié)議族的值必須在當前指定的范圍內(nèi)*/
   
7.         if (pf >= NPROTO)
   
8.                 return -EINVAL;
   
9. 
   
10.         write_lock_bh(&queue_handler_lock);
    
11.         /*該queue handler已經(jīng)被注冊過了*/
    
12.         if (queue_handler[pf] == qh)
    
13.                 ret = -EEXIST;
    
14.         /*該協(xié)議族已經(jīng)被注冊了handler了*/
    
15.         else if (queue_handler[pf])
    
16.                 ret = -EBUSY;
    
17.         /*將該協(xié)議的queue hanler指向參數(shù)qh*/
    
18.         else {
    
19.                 queue_handler[pf] = qh;
    
20.                 ret = 0;
    
21.         }
    
22.         write_unlock_bh(&queue_handler_lock);
    
23. 
    
24.         return ret;
    
25. }

復制代碼

該函數(shù)的代碼比較簡單，先來了解一下函數(shù)的兩個參數(shù)：
（1）pf：IP協(xié)議族的值，PF_INET和PF_INET6分別代表IPv4和IPv6。
（2）qh：NF中對報文進行Queue的結構體，定義如下(netfilter.h)：

1. /* Packet queuing */
   
2. struct nf_queue_handler {
   
3.         int (*outfn)(struct sk_buff *skb, struct nf_info *info,
   
4.                      unsigned int queuenum, void *data);
   
5.         void *data;
   
6.         char *name;
   
7. };

復制代碼

由此可見，該結構體主要包含一個函數(shù)指針，用于處理NF框架需要Queue的報文。data應該是用來保存一些私有數(shù)據(jù)，name則是該queue handler的名稱。
代碼中已經(jīng)包含了該函數(shù)源碼的簡單注釋，這里再對該函數(shù)進行一下簡單的總結：
(1) 每個協(xié)議族只能注冊一個queue handler；
(2) 隨后報文的處理中，可以根據(jù)報文的協(xié)議族，就可以找到報文進行Queue時的處理函數(shù)queue_handler[pf]->outfn()。
        在IP Queue模塊中，queue handler的注冊如下所示：

1. status = nf_register_queue_handler(PF_INET, &nfqh);

復制代碼

        可見，注冊的是IPv4協(xié)議族的報文處理函數(shù)，而nfqh結構體的定義如下：

1. static struct nf_queue_handler nfqh = {
   
2.         .name        = "ip_queue",
   
3.         .outfn        = &ipq_enqueue_packet,
   
4. };

復制代碼

這里，IP Queue處理報文的函數(shù)終于閃亮登場了，我們前面啰嗦了半天，主要就是想理順一下思路，順理成章的引出該函數(shù)。
（四）入隊函數(shù)ipq_enqueue_packet —— 發(fā)送數(shù)據(jù)包到用戶空間
        第二部分已經(jīng)分析過了該函數(shù)會在什么條件下被觸發(fā)。這里詳細分析該函數(shù)的實現(xiàn)，代碼在ip_queue.c中。
        分析代碼之前，我們先了解一下IP Queue對數(shù)據(jù)包隊列管理的核心數(shù)據(jù)結構：

1. struct ipq_queue_entry {
   
2.         struct list_head list;
   
3.         struct nf_info *info;
   
4.         struct sk_buff *skb;
   
5. };

復制代碼

所有被Queue到用戶空間的數(shù)據(jù)包都會有這樣一個結構體。其中，
該數(shù)據(jù)結構的第1個元素是個雙向鏈表結構，用于將所有queue的數(shù)據(jù)包用雙向鏈表連
接起來，實現(xiàn)隊列管理。
第2個元素同樣是一個結構體，其定義在netfilter.h中：

1. /* Each queued (to userspace) skbuff has one of these. */
   
2. struct nf_info
   
3. {
   
4.         /* The ops struct which sent us to userspace. */
   
5.         struct nf_hook_ops *elem;
   
6.        
   
7.         /* If we're sent to userspace, this keeps housekeeping info */
   
8.         int pf;
   
9.         unsigned int hook;
   
10.         struct net_device *indev, *outdev;
    
11.         int (*okfn)(struct sk_buff *);
    
12. };

復制代碼

這個結構體應該很容易看出他的作用，就是記錄下當數(shù)據(jù)包被Queue時所在的hook函數(shù)的相關信息，包括hook的操作結構、協(xié)議號、hook點等相關信息。當用戶空間下發(fā)了對數(shù)據(jù)包的處理結果時，內(nèi)核就需要參考這個結構對數(shù)據(jù)包進行進一步的處理。具體的我們會在后面數(shù)據(jù)包回注函數(shù)中分析。
第3個元素是skb本身，也就是回注函數(shù)中要處理的數(shù)據(jù)包。

OK，我們下面就開始如對函數(shù)的分析。

1. static int
   
2. ipq_enqueue_packet(struct sk_buff *skb, struct nf_info *info,
   
3.                    unsigned int queuenum, void *data)
   
4. {
   
5.         int status = -EINVAL;
   
6.         struct sk_buff *nskb;
   
7.         struct ipq_queue_entry *entry;
   
8. 
   
9.         /*判斷用戶配置的模式，可以為拷貝元數(shù)據(jù)或者整個數(shù)據(jù)包的信息*/
   
10.         if (copy_mode == IPQ_COPY_NONE)
    
11.                 return -EAGAIN;
    
12.         /*為即將入隊的數(shù)據(jù)包分配一個struct ipq_queue_entry 結構體，用于實現(xiàn)對數(shù)據(jù)包的管理，我們稱之為queue管理結構體*/
    
13.         entry = kmalloc(sizeof(*entry), GFP_ATOMIC);
    
14.         if (entry == NULL) {
    
15.                 printk(KERN_ERR "ip_queue: OOM in ipq_enqueue_packet()\n");
    
16.                 return -ENOMEM;
    
17.         }
    
18.         /*將該數(shù)據(jù)包對應的相關信息保存到管理結構體中*/
    
19.         entry->info = info;
    
20.         entry->skb = skb;
    
21.        
    
22. /*構建用于發(fā)往用戶空間的消息*/
    
23.         nskb = ipq_build_packet_message(entry, &status);
    
24.         if (nskb == NULL)
    
25.                 goto err_out_free;
    
26.                
    
27.         write_lock_bh(&queue_lock);
    
28.        
    
29.         /如果用戶空間沒有開啟進程，等待接收消息的話，就釋放該消息/
    
30.         if (!peer_pid)
    
31.                 goto err_out_free_nskb;
    
32.         /*如果當前隊列中的數(shù)據(jù)包總數(shù)超過了設置的最大值，則是放該消息，并且增加丟棄數(shù)據(jù)包的統(tǒng)計計數(shù)*/
    
33.         if (queue_total >= queue_maxlen) {
    
34.                 queue_dropped++;
    
35.                 status = -ENOSPC;
    
36.                 if (net_ratelimit())
    
37.                           printk (KERN_WARNING "ip_queue: full at %d entries, "
    
38.                                   "dropping packets(s). Dropped: %d\n", queue_total,
    
39.                                   queue_dropped);
    
40.                 goto err_out_free_nskb;
    
41.         }
    
42. 
    
43.         /* 將消息發(fā)送給用戶空間 */
    
44.         status = netlink_unicast(ipqnl, nskb, peer_pid, MSG_DONTWAIT);
    
45.         if (status < 0) {
    
46.                 queue_user_dropped++;
    
47.                 goto err_out_unlock;
    
48.         }
    
49.         /*成功發(fā)送到用戶空間之后，將該數(shù)據(jù)包的queue管理結構添加到全局隊列鏈表中*/
    
50.         __ipq_enqueue_entry(entry);
    
51. 
    
52.         write_unlock_bh(&queue_lock);
    
53.         return status;
    
54. 
    
55. err_out_free_nskb:
    
56.         kfree_skb(nskb);
    
57.        
    
58. err_out_unlock:
    
59.         write_unlock_bh(&queue_lock);
    
60. 
    
61. err_out_free:
    
62.         kfree(entry);
    
63.         return status;
    
64. }

復制代碼

該函數(shù)成功執(zhí)行之后，就將數(shù)據(jù)包相關的信息發(fā)送到用戶空間，同時將該數(shù)據(jù)包對應的queue管理結構加到全局鏈表中。
下面對于ipq_enqueue_packet函數(shù)中調(diào)用的幾個重要函數(shù)做一些分析。
首先是構建消息的函數(shù)ipq_build_packet_message。

1. static struct sk_buff *
   
2. ipq_build_packet_message(struct ipq_queue_entry *entry, int *errp)
   
3. {
   
4.         unsigned char *old_tail;
   
5.         size_t size = 0;
   
6.         size_t data_len = 0;
   
7.         struct sk_buff *skb;
   
8.         struct ipq_packet_msg *pmsg;
   
9.         struct nlmsghdr *nlh;
   
10. 
    
11.         read_lock_bh(&queue_lock);
    
12.         /*根據(jù)用戶配置的copy模式，確定發(fā)給用戶空間消息的長度*/
    
13.         switch (copy_mode) {
    
14.         /*對于初始模式和拷貝元數(shù)據(jù)的模式，消息應該包括netlink的消息頭和ipq的消息頭，長度為兩個消息頭長度之和，即sizeof(struct nlmsghdr) + sizeof(struct ipq_packet_msg)，并考慮對齊的因素。這里直接調(diào)用netlink封裝的宏NLMSG_SPACE來計算長度。該宏本身已經(jīng)包含了netlink消息頭的長度*/
    
15.         case IPQ_COPY_META:
    
16.         case IPQ_COPY_NONE:
    
17.                 /*消息長度為netlink的消息頭和ipq的消息頭的長度之和*/
    
18.                 size = NLMSG_SPACE(sizeof(*pmsg));
    
19.                 data_len = 0;
    
20.                 break;
    
21.        
    
22.         case IPQ_COPY_PACKET:
    
23.                 if (entry->skb->ip_summed == CHECKSUM_HW &&
    
24.                     (*errp = skb_checksum_help(entry->skb,
    
25.                                                entry->info->outdev == NULL))) {
    
26.                         read_unlock_bh(&queue_lock);
    
27.                         return NULL;
    
28.                 }
    
29.                 /*如果用戶需要拷貝整個數(shù)據(jù)包的內(nèi)容，那么如果配置的長度為0或者超出數(shù)據(jù)包的實際長度，則以數(shù)據(jù)包的實際長度進行拷貝*/
    
30.                 if (copy_range == 0 || copy_range > entry->skb->len)
    
31.                         data_len = entry->skb->len;
    
32.                 else
    
33.                         data_len = copy_range;
    
34.                 /*消息長度為netlink的消息頭、ipq的消息頭的長度以及要拷貝數(shù)據(jù)包的長度之和*/
    
35.                 size = NLMSG_SPACE(sizeof(*pmsg) + data_len);
    
36.                 break;
    
37.        
    
38.         default:
    
39.                 *errp = -EINVAL;
    
40.                 read_unlock_bh(&queue_lock);
    
41.                 return NULL;
    
42.         }
    
43. 
    
44.         read_unlock_bh(&queue_lock);
    
45.         /*為構建的消息申請內(nèi)存，同樣適用skb結構體，消息的內(nèi)容應該在skb->data和skb->tail之間*/
    
46.         skb = alloc_skb(size, GFP_ATOMIC);
    
47.         if (!skb)
    
48.                 goto nlmsg_failure;
    
49.         /*記錄一下新分配的skb中的tail指針的地址，此時應該skb->tail指向skb->data*/
    
50.         old_tail= skb->tail;
    
51.         /*填充netlink消息頭*/
    
52.         nlh = NLMSG_PUT(skb, 0, 0, IPQM_PACKET, size - sizeof(*nlh));
    
53.         /*獲取netlink消息體的起始地址，即ipq的消息頭*/
    
54.         pmsg = NLMSG_DATA(nlh);
    
55.         memset(pmsg, 0, sizeof(*pmsg));
    
56. 
    
57.         /*將相關的ipq消息記錄到消息頭中*/
    
58.                 /*將skb對應的queue管理結構體的地址作為packet_id*/
    
59.         pmsg->packet_id       = (unsigned long )entry;
    
60.         pmsg->data_len        = data_len;
    
61.         pmsg->timestamp_sec   = entry->skb->tstamp.off_sec;
    
62.         pmsg->timestamp_usec  = entry->skb->tstamp.off_usec;
    
63.         pmsg->mark            = entry->skb->nfmark;
    
64.         pmsg->hook            = entry->info->hook;
    
65.         pmsg->hw_protocol     = entry->skb->protocol;
    
66.        
    
67.         /*記錄被queue數(shù)據(jù)包對應的輸入設備名稱*/
    
68.         if (entry->info->indev)
    
69.                 strcpy(pmsg->indev_name, entry->info->indev->name);
    
70.         else
    
71.                 pmsg->indev_name[0] = '\0';
    
72.         /*記錄被queue數(shù)據(jù)包對應的輸出設備名稱*/
    
73.         if (entry->info->outdev)
    
74.                 strcpy(pmsg->outdev_name, entry->info->outdev->name);
    
75.         else
    
76.                 pmsg->outdev_name[0] = '\0';
    
77. 
    
78.         /*記錄被queue數(shù)據(jù)包對應的鏈路層的協(xié)議類型及地址長度*/
    
79.         if (entry->info->indev && entry->skb->dev) {
    
80.                 pmsg->hw_type = entry->skb->dev->type;
    
81.                 if (entry->skb->dev->hard_header_parse)
    
82.                         pmsg->hw_addrlen =
    
83.                                 entry->skb->dev->hard_header_parse(entry->skb,
    
84.                                                                    pmsg->hw_addr);
    
85.         }
    
86.         /* data_len != 0 說明需要拷貝數(shù)據(jù)包的原始數(shù)據(jù)。skb_copy_bits 函數(shù)的實現(xiàn)不再分析，其主要功能就是將從skb->data+offset開始的數(shù)據(jù)拷貝data_len個字節(jié)到pmsg->payload中，即ipq消息的載荷。另外一個需要注意的問題，如果skb掛載的有分片包，則skb_copy_bits也會按照順序拷貝分片包中的數(shù)據(jù)*/
    
87.         if (data_len)
    
88.                 if (skb_copy_bits(entry->skb, 0, pmsg->payload, data_len))
    
89.                         BUG();
    
90.         /*設置netlink消息的長度*/
    
91.         nlh->nlmsg_len = skb->tail - old_tail;
    
92.         return skb;
    
93. 
    
94. nlmsg_failure:
    
95.         if (skb)
    
96.                 kfree_skb(skb);
    
97.         *errp = -EINVAL;
    
98.         printk(KERN_ERR "ip_queue: error creating packet message\n");
    
99.         return NULL;
    
100. }

復制代碼

其次，對于netlink_unicast函數(shù)，我們這里不具體分析，它的作用就是將內(nèi)核封裝好的netlink消息發(fā)送到用戶態(tài)。
最后分析一下__ipq_enqueue_entry 函數(shù)。

1. static inline void
   
2. __ipq_enqueue_entry(struct ipq_queue_entry *entry)
   
3. {
   
4.        list_add(&entry->list, &queue_list);
   
5.        queue_total++;
   
6. }

復制代碼

該函數(shù)的功能很簡答，就是將當前skb的queue管理結構添加到全局的queue管理鏈表queue_list中，并增加隊列的統(tǒng)計計數(shù)。該鏈表記錄了所有發(fā)往用戶空間，且并未收到用戶空間下發(fā)處理結果的數(shù)據(jù)包。
至此，數(shù)據(jù)包的入隊處理函數(shù)已經(jīng)分析完畢。一切順利執(zhí)行的話，現(xiàn)在用戶態(tài)已經(jīng)接收到關于該數(shù)據(jù)包的消息。

--未完待續(xù)

Godbach

（五）接收和處理用戶空間的配置—— 接收用戶空間的數(shù)據(jù)包
        ip_queue模塊加載的代碼中有這樣一行代碼：

1.         ipqnl = netlink_kernel_create(NETLINK_FIREWALL, 0, ipq_rcv_sk,
   
2.                                       THIS_MODULE);

復制代碼

        上文也已經(jīng)分析了，該行代碼就是注冊一個用于接收用戶空間配置數(shù)據(jù)的函數(shù)ipq_rcv_sk。因此，接收和處理用戶空間的配置應該從這個函數(shù)開始分析。
        ipq_rcv_sk的代碼如下：

1.         static void
   
2. ipq_rcv_sk(struct sock *sk, int len)
   
3. {
   
4.         struct sk_buff *skb;
   
5.         unsigned int qlen;
   
6. 
   
7.         mutex_lock(&ipqnl_mutex);
   
8.                        
   
9.         for (qlen = skb_queue_len(&sk->sk_receive_queue); qlen; qlen--) {
   
10.                 skb = skb_dequeue(&sk->sk_receive_queue);
    
11.                 ipq_rcv_skb(skb);
    
12.                 kfree_skb(skb);
    
13.         }
    
14.                
    
15.         mutex_unlock(&ipqnl_mutex);
    
16. }

復制代碼

該函數(shù)的功能非常明確，就從當前套接字的接收數(shù)據(jù)包隊列中取出數(shù)據(jù)包，然后交給ipq_rcv_skb進一步分析和處理，然后就釋放掉該數(shù)據(jù)包的緩存。
下面接著分析ipq_rcv_skb函數(shù)，其源碼如下：

1. #define RCV_SKB_FAIL(err) do { netlink_ack(skb, nlh, (err)); return; } while (0)
   
2. 
   
3. static inline void
   
4. ipq_rcv_skb(struct sk_buff *skb)
   
5. {
   
6.         int status, type, pid, flags, nlmsglen, skblen;
   
7.         struct nlmsghdr *nlh;
   
8.         /*獲取并檢查數(shù)據(jù)包的長度*/
   
9.         skblen = skb->len;
   
10.         if (skblen < sizeof(*nlh))
    
11.                 return;
    
12.         /*獲取netlink消息頭部的結構體，并檢查頭部中保存的數(shù)據(jù)長度字段*/
    
13.         nlh = (struct nlmsghdr *)skb->data;
    
14.         nlmsglen = nlh->nlmsg_len;
    
15.         if (nlmsglen < sizeof(*nlh) || skblen < nlmsglen)
    
16.                 return;
    
17.         /*取到用戶態(tài)的進程ID，以及用戶空間配置的標記為*/
    
18.         pid = nlh->nlmsg_pid;
    
19.         flags = nlh->nlmsg_flags;
    
20.         /*判斷用戶進程的ID是否合法，以及該數(shù)據(jù)包是否是netlink的請求包*/
    
21.         if(pid <= 0 || !(flags & NLM_F_REQUEST) || flags & NLM_F_MULTI)
    
22.                 RCV_SKB_FAIL(-EINVAL);
    
23.                
    
24.         if (flags & MSG_TRUNC)
    
25.                 RCV_SKB_FAIL(-ECOMM);
    
26.         /*獲取消息的類型并檢查*/       
    
27.         type = nlh->nlmsg_type;
    
28.         if (type < NLMSG_NOOP || type >= IPQM_MAX)
    
29.                 RCV_SKB_FAIL(-EINVAL);
    
30.         /*如果不是ip_queue消息，則返回*/       
    
31.         if (type <= IPQM_BASE)
    
32.                 return;
    
33.                
    
34.         if (security_netlink_recv(skb, CAP_NET_ADMIN))
    
35.                 RCV_SKB_FAIL(-EPERM);
    
36.        
    
37.         write_lock_bh(&queue_lock);
    
38.         /*如果內(nèi)核態(tài)記錄的用戶空間進程ID非0，且當前數(shù)據(jù)包的進程ID并不等于內(nèi)核態(tài)記錄的值，則意味著接收數(shù)據(jù)包失敗*/
    
39.         if (peer_pid) {
    
40.                 if (peer_pid != pid) {
    
41.                         write_unlock_bh(&queue_lock);
    
42.                         RCV_SKB_FAIL(-EBUSY);
    
43.                 }
    
44.         } else {
    
45.                 net_enable_timestamp();
    
46. /*如果內(nèi)核態(tài)記錄的peer_pid 為0，則將當前消息中的進程ID記錄到全局變量peer_pid 中。此種情形應該是用戶態(tài)初次向內(nèi)核發(fā)送ip_queue的消息*/
    
47.                 peer_pid = pid;
    
48.         }
    
49.                
    
50.         write_unlock_bh(&queue_lock);
    
51.         /*處理用戶空間下發(fā)的ip_queue配置消息*/
    
52.         status = ipq_receive_peer(NLMSG_DATA(nlh), type,
    
53.                                   nlmsglen - NLMSG_LENGTH(0));
    
54.         if (status < 0)
    
55.                 RCV_SKB_FAIL(status);
    
56.                
    
57.         if (flags & NLM_F_ACK)
    
58.                 netlink_ack(skb, nlh, 0);
    
59.         return;
    
60. }

復制代碼

該函數(shù)對于接收到的用戶空間下發(fā)的消息，檢查其多個參數(shù)的合法性，并判斷是否是ip_queue的消息。如果是，則交由ipq_receive_peer函數(shù)進行消息的解析和處理。
下面我們分析一下ipq_receive_peer函數(shù)的實現(xiàn)，代碼如下：

1. static int
   
2. ipq_receive_peer(struct ipq_peer_msg *pmsg,
   
3.                  unsigned char type, unsigned int len)
   
4. {
   
5.         int status = 0;
   
6. 
   
7.         if (len < sizeof(*pmsg))
   
8.                 return -EINVAL;
   
9.         /*根據(jù)用戶態(tài)的消息類型進行處理*/
   
10.         switch (type) {
    
11.         case IPQM_MODE:
    
12.                 status = ipq_set_mode(pmsg->msg.mode.value,
    
13.                                       pmsg->msg.mode.range);
    
14.                 break;
    
15.                
    
16.         case IPQM_VERDICT:
    
17.                 if (pmsg->msg.verdict.value > NF_MAX_VERDICT)
    
18.                         status = -EINVAL;
    
19.                 else
    
20.                         status = ipq_set_verdict(&pmsg->msg.verdict,
    
21.                                                  len - sizeof(*pmsg));
    
22.                         break;
    
23.         default:
    
24.                 status = -EINVAL;
    
25.         }
    
26.         return status;
    
27. }

復制代碼

該函數(shù)主要是根據(jù)用戶態(tài)設置的消息的類型，進行不同的處理。我們在IP Queue分析的第一篇文章《Linux內(nèi)核IP Queue機制的分析（一）¬——用戶態(tài)接收數(shù)據(jù)包》（以下簡稱文一）中已經(jīng)提到，用戶態(tài)下發(fā)到內(nèi)核態(tài)的消息分為“模式設置消息（IPQM_MODE）”和“斷言消息（IPQM_VERDICT）”兩個子類。
這里我們先分析消息類型為IPQM_MODE即模式設置消息時內(nèi)核態(tài)的處理。對于斷言消息IPQM_VERDICT的處理部分，我們將在后面第六節(jié)中分析。
模式設置消息對應的處理函數(shù)為ipq_set_mode，其代碼如下：

1. static int
   
2. ipq_set_mode(unsigned char mode, unsigned int range)
   
3. {
   
4.         int status;
   
5. 
   
6.         write_lock_bh(&queue_lock);
   
7.         status = __ipq_set_mode(mode, range);
   
8.         write_unlock_bh(&queue_lock);
   
9.         return status;
   
10. }

復制代碼

該函數(shù)主要就是調(diào)用__ipq_set_mode函數(shù)，其代碼如下：

1. static inline int
   
2. __ipq_set_mode(unsigned char mode, unsigned int range)
   
3. {
   
4.         int status = 0;
   
5.        
   
6.         switch(mode) {
   
7.         case IPQ_COPY_NONE:
   
8.         case IPQ_COPY_META:
   
9.                 copy_mode = mode;
   
10.                 copy_range = 0;
    
11.                 break;
    
12.                
    
13.         case IPQ_COPY_PACKET:
    
14.                 copy_mode = mode;
    
15.                 copy_range = range;
    
16.                 if (copy_range > 0xFFFF)
    
17.                         copy_range = 0xFFFF;
    
18.                 break;
    
19.                
    
20.         default:
    
21.                 status = -EINVAL;
    
22. 
    
23.         }
    
24.         return status;
    
25. }

復制代碼

同樣，我們在文一中分析過了模式設置消息的三種請求模式：IPQ_COPY_NONE、IPQ_COPY_META和IPQ_COPY_PACKET。參考文一中的具體解釋，可以很輕松的理解該函數(shù)的實現(xiàn)：
（1）當請求模式為IPQ_COPY_NONE或IPQ_COPY_META時，記錄下所設置的模式保存到全局變量copy_mode，并且將全局變量copy_range置0。因為這兩種模式都不會要求讀取數(shù)據(jù)包的原始內(nèi)容；
（2）當請求模式為IPQ_COPY_PACKET時，記錄下所設置的模式保存到全局變量copy_mode，并將用戶空間設置的讀取數(shù)據(jù)包的長度值保存到全局變量copy_range中。如果用戶設置的長度大于0xFFFF，則將copy_range設置為0xFFFF。
        這里copy_mode和copy_range，以及前面提到的peer_pid都使用全局變量類型，因為內(nèi)核態(tài)發(fā)送相關消息到用戶空間時要讀取這幾個參數(shù)，并根據(jù)各參數(shù)值的不同，發(fā)送不同類型的消息到用戶空間。
        通過模式設置消息，用戶空間成功的告訴內(nèi)核態(tài)，我需要數(shù)據(jù)包的哪些部分，只是摘要信息，還是連數(shù)據(jù)包的原始內(nèi)容也要。如果需要數(shù)據(jù)包的原始內(nèi)容，長度是多少等等。而內(nèi)核態(tài)也會根據(jù)用戶態(tài)下發(fā)的需求，將數(shù)據(jù)包的相關信息打包發(fā)給用戶空間的接收進程。

--未完待續(xù)

Godbach

（六）數(shù)據(jù)包的最終處理
        IP Queue機制提供了一種將數(shù)據(jù)包交給用戶態(tài)處理的方法。那么，最后最關鍵的一步就是對數(shù)據(jù)包的處理。經(jīng)過我們上面的分析，用戶空間對數(shù)據(jù)包的處理，就是通過下發(fā)IP Queue消息，告訴內(nèi)核態(tài)數(shù)據(jù)包是丟棄還是接受等。而內(nèi)核態(tài)會根據(jù)具體的消息對數(shù)據(jù)包做真正的丟棄或接受等處理。
        那么，我們就從用戶態(tài)下發(fā)的消息開始，一直分析到數(shù)據(jù)包最終被處理。
        我們上面分析了用戶態(tài)下發(fā)的消息最終由__ipq_set_mode函數(shù)處理。該函數(shù)會根據(jù)消息類型調(diào)用對應的處理函數(shù)。用戶態(tài)下發(fā)的數(shù)據(jù)包處理意見的消息，我們稱之為“斷言消息”，對應消息類型的宏定義為IPQM_VERDICT。該消息對應的處理函數(shù)為ipq_set_verdict。該函數(shù)代碼如下：

1. static int
   
2. ipq_set_verdict(struct ipq_verdict_msg *vmsg, unsigned int len)
   
3. {
   
4.         struct ipq_queue_entry *entry;
   
5.         /*檢查對數(shù)據(jù)包處理意見的值的合法性*/
   
6.         if (vmsg->value > NF_MAX_VERDICT)
   
7.                 return -EINVAL;
   
8.         /*根據(jù)斷言消息中保存的id找到對應的數(shù)據(jù)包queue管理結構體*/
   
9.         entry = ipq_find_dequeue_entry(id_cmp, vmsg->id);
   
10.         if (entry == NULL)
    
11.                 return -ENOENT;
    
12.         else {
    
13.                 /*記錄斷言消息的處理結果*/
    
14.                 int verdict = vmsg->value;
    
15.                 /*如果用戶空間拷貝了數(shù)據(jù)包的原始內(nèi)容，則要根據(jù)數(shù)據(jù)包被修改的情況調(diào)用函數(shù)ipq_mangle_ipv4對queue管理結構體中保存的原始skb進行修改*/
    
16.                 if (vmsg->data_len && vmsg->data_len == len)
    
17.                         if (ipq_mangle_ipv4(vmsg, entry) < 0)
    
18.                                 verdict = NF_DROP;
    
19.                 /*將數(shù)據(jù)包重新注入NF框架*/
    
20.                 ipq_issue_verdict(entry, verdict);
    
21.                 return 0;
    
22.         }
    
23. }

復制代碼

        該函數(shù)首先根據(jù)斷言消息的id，從全局鏈表queue_list中找到當前消息對應的queue管理結構體。然后，根據(jù)用戶空間對數(shù)據(jù)包的修改和處理意見，對當前queue管理結構體中的skb進行修改。最后，調(diào)用函數(shù)ipq_issue_verdict將數(shù)據(jù)包重新注入NF框架。
        下面將逐一分析上面三個階段的代碼。
1. 獲取斷言消息對應的queue管理結構體
        ipq_set_verdict函數(shù)中實現(xiàn)代碼如下：

1. entry = ipq_find_dequeue_entry(id_cmp, vmsg->id);

復制代碼

可見這里調(diào)用了ipq_find_dequeue_entry函數(shù)獲取queue管理結構體的。傳進去參數(shù)一個是函數(shù)指針id_cmp， 一個是斷言消息的id。我們在文一中已經(jīng)提到過，斷言消息的id即內(nèi)核態(tài)發(fā)送給用戶空間消息中的packet_id。通過ipq_build_packet_message函數(shù)我們可以知道，packet_id就是當前數(shù)據(jù)包對應的queue管理結構體的地址。因此，找到queue管理結構體的方法，就是遍歷queue_list全局鏈表，找到地址等于vmsg->id的queue管理結構體。
因此，不難想象，id_cmp函數(shù)的實現(xiàn)代碼：

1. static inline int
   
2. id_cmp(struct ipq_queue_entry *e, unsigned long id)
   
3. {
   
4.         return (id == (unsigned long )e);
   
5. }

復制代碼

那么，函數(shù)ipq_find_dequeue_entry的代碼實現(xiàn)的方法也就很明確了：

1. static struct ipq_queue_entry *
   
2. ipq_find_dequeue_entry(ipq_cmpfn cmpfn, unsigned long data)
   
3. {
   
4.         struct ipq_queue_entry *entry;
   
5.        
   
6.         write_lock_bh(&queue_lock);
   
7.         entry = __ipq_find_dequeue_entry(cmpfn, data);
   
8.         write_unlock_bh(&queue_lock);
   
9.         return entry;
   
10. }

復制代碼

該函數(shù)進一步調(diào)用函數(shù)__ipq_find_dequeue_entry，代碼如下：

1. static inline struct ipq_queue_entry *
   
2. __ipq_find_dequeue_entry(ipq_cmpfn cmpfn, unsigned long data)
   
3. {
   
4.         struct ipq_queue_entry *entry;
   
5. 
   
6.         entry = __ipq_find_entry(cmpfn, data);
   
7.         if (entry == NULL)
   
8.                 return NULL;
   
9. 
   
10.         __ipq_dequeue_entry(entry);
    
11.         return entry;
    
12. }

復制代碼

該函數(shù)首先調(diào)用__ipq_find_entry，遍歷全局鏈表queue_list，找到當前斷言消息對應數(shù)據(jù)包的queue管理結構體：

1. /*
   
2. * Find and return a queued entry matched by cmpfn, or return the last
   
3. * entry if cmpfn is NULL.
   
4. */
   
5. static inline struct ipq_queue_entry *
   
6. __ipq_find_entry(ipq_cmpfn cmpfn, unsigned long data)
   
7. {
   
8.         struct list_head *p;
   
9. 
   
10.         list_for_each_prev(p, &queue_list) {
    
11.                 struct ipq_queue_entry *entry = (struct ipq_queue_entry *)p;
    
12.                
    
13.                 if (!cmpfn || cmpfn(entry, data))
    
14.                         return entry;
    
15.         }
    
16.         return NULL;
    
17. }

復制代碼

然后將調(diào)用函數(shù)__ipq_dequeue_entry將找到的queue管理結構體從全局鏈表queue_list中刪除，并減小被queue的數(shù)據(jù)包的統(tǒng)計計數(shù)。

1. static inline void
   
2. __ipq_dequeue_entry(struct ipq_queue_entry *entry)
   
3. {
   
4.         list_del(&entry->list);
   
5.         queue_total--;
   
6. }

復制代碼

至此，我們已經(jīng)找到了斷言消息對應數(shù)據(jù)包的queue管理結構體。
2. 根據(jù)用戶的配置修改數(shù)據(jù)包
        ipq_set_verdict函數(shù)中實現(xiàn)代碼如下：

1. int verdict = vmsg->value;
   
2. 
   
3. if (vmsg->data_len && vmsg->data_len == len)
   
4.         if (ipq_mangle_ipv4(vmsg, entry) < 0)
   
5.                 verdict = NF_DROP;

復制代碼

        這里，首先記錄下對數(shù)據(jù)包的處理結果vmsg->value。然后，比較關鍵的一步，就是如果斷言消息中數(shù)據(jù)長度部分不為0，并且消息中記錄的載荷長度等于當前計算出來的載荷長度（如果正常進行設置和通信的話，兩者應該是相等的），則調(diào)用ipq_mangle_ipv4對原始的數(shù)據(jù)包進行處理。
        函數(shù)ipq_mangle_ipv4的代碼如下：

1. static int
   
2. ipq_mangle_ipv4(ipq_verdict_msg_t *v, struct ipq_queue_entry *e)
   
3. {
   
4.         int diff;
   
5.         /*獲得用戶空間處理后的數(shù)據(jù)包的ip頭部*/
   
6.         struct iphdr *user_iph = (struct iphdr *)v->payload;
   
7.         /*判斷消息中記錄的載荷長度是否小于頭部長度。如果是，則就不再修改queue中保存的skb*/
   
8.         if (v->data_len < sizeof(*user_iph))
   
9.                 return 0;
   
10.         /*判斷數(shù)據(jù)包的長度是否發(fā)生變化，即獲取用戶修改后的數(shù)據(jù)包和原始數(shù)據(jù)包的長度的關系*/
    
11.         diff = v->data_len - e->skb->len;
    
12.         /*用戶減小了數(shù)據(jù)包的長度*/
    
13.         if (diff < 0)
    
14.                 skb_trim(e->skb, v->data_len);
    
15.         /*用戶增大了數(shù)據(jù)包的長度*/
    
16.         else if (diff > 0) {
    
17.                 /*非法的數(shù)據(jù)包長度值*/
    
18.                 if (v->data_len > 0xFFFF)
    
19.                         return -EINVAL;
    
20.                 /*數(shù)據(jù)包被擴充的長度大于了skb的tailroom，即skb的tail:end之間的長度已經(jīng)不能容納數(shù)據(jù)包增加的數(shù)據(jù)，這是需要新分配一個skb*/
    
21.                 if (diff > skb_tailroom(e->skb)) {
    
22.                         struct sk_buff *newskb;
    
23.                         /*將原先的skb進行擴充，并將原始skb的數(shù)據(jù)包拷貝到新的skb中*/
    
24.                         newskb = skb_copy_expand(e->skb,
    
25.                                                  skb_headroom(e->skb),
    
26.                                                  diff,
    
27.                                                  GFP_ATOMIC);
    
28.                         if (newskb == NULL) {
    
29.                                 printk(KERN_WARNING "ip_queue: OOM "
    
30.                                       "in mangle, dropping packet\n");
    
31.                                 return -ENOMEM;
    
32.                         }
    
33.                         if (e->skb->sk)
    
34.                                 skb_set_owner_w(newskb, e->skb->sk);
    
35.                         kfree_skb(e->skb);
    
36.                         e->skb = newskb;
    
37.                 }
    
38.                 /*將skb的tail指針增加tail+diff*/
    
39.                 skb_put(e->skb, diff);
    
40.         }
    
41.         if (!skb_make_writable(&e->skb, v->data_len))
    
42.                 return -ENOMEM;
    
43.         /*將斷言消息中全部的載荷拷貝到skb對應的數(shù)據(jù)區(qū)中。*/
    
44.         memcpy(e->skb->data, v->payload, v->data_len);
    
45.         e->skb->ip_summed = CHECKSUM_NONE;
    
46. 
    
47.         return 0;
    
48. }

復制代碼

該函數(shù)主要就是斷言消息中的對數(shù)據(jù)包做的任何修改都反應到原始的skb中。
3. 將修改后的數(shù)據(jù)包重新注入NF框架
ipq_set_verdict函數(shù)實現(xiàn)的代碼如下：

1.         ipq_issue_verdict(entry, verdict);

復制代碼

        即調(diào)用ipq_issue_verdict函數(shù)將數(shù)據(jù)包重新注入NF中。該函數(shù)的代碼如下：

1. static void
   
2. ipq_issue_verdict(struct ipq_queue_entry *entry, int verdict)
   
3. {
   
4.         /* TCP input path (and probably other bits) assume to be called
   
5.          * from softirq context, not from syscall, like ipq_issue_verdict is
   
6.          * called.  TCP input path deadlocks with locks taken from timer
   
7.          * softirq, e.g.  We therefore emulate this by local_bh_disable() */
   
8. 
   
9.         local_bh_disable();
   
10.         nf_reinject(entry->skb, entry->info, verdict);
    
11.         local_bh_enable();
    
12. 
    
13.         kfree(entry);
    
14. }

復制代碼

該函數(shù)將queue管理結構體的兩個個成員skb、info，以及用戶對數(shù)據(jù)包的處理結果verdict作為入?yún)ⅲ�直接調(diào)用nf_reinject函數(shù)。nf_reinject函數(shù)會根據(jù)三個參數(shù)所保存的相關信息，對數(shù)據(jù)包進行真正的處理，比入交給下一個hook函數(shù)處理（NF_ACCEPT），或者丟棄（NF_DROP），或者重新交給當前再次交給當前的hook函數(shù)處理（NF_REPEAT）。
至此，整個ip_queue模塊的核心代碼已經(jīng)分析完畢。

--完

accessory

支持下.

dreamice

好文

ubuntuer

好文好文  再加上前面兩篇  ip queue就全了^_^

Godbach

是啊，IP  Queue已經(jīng)系統(tǒng)的的分析完了。從用戶空間的使用到內(nèi)核空間的源碼。

慚愧的是，完成這三篇文章竟然拖了這么長時間。