在多核系統(tǒng)上網(wǎng)絡數(shù)據(jù)轉(zhuǎn)發(fā)實驗和一點思考

ShadowStar

因為本地硬中斷向本地CPU添加了poll_list，所以本地CPU上的軟中斷檢測到了這個poll_list，所以后續(xù)的網(wǎng)絡處理是在這個CPU上。

Godbach

好文啊。再加上九賤兄和ShadowStar兄的討論，收獲頗豐。

獨孤九賤

原帖由 ShadowStar 于 2009-5-19 13:33 發(fā)表
因為本地硬中斷向本地CPU添加了poll_list，所以本地CPU上的軟中斷檢測到了這個poll_list，所以后續(xù)的網(wǎng)絡處理是在這個CPU上。

哈哈，看來我們從原理到結(jié)論都取得了一致，現(xiàn)在不知有沒有哪位大�，F(xiàn)身來做個總結(jié)呢？我以前看思一克和al*討論得熱火朝天的。怎么他們對這個不感興趣了……

思一克

這個問題不好理想解決。
就是說不能將網(wǎng)絡中斷在個CPU平衡的太好。平衡的太好，網(wǎng)路傳輸反而慢了。因為TCP的特點是包有順序性，后面的包不應該快到。而CPU并行的結(jié)果就打亂了順序性。造成不該到的包先到，TCP協(xié)議中就要做RE-ORDER，RE-ORDER稍微多了，網(wǎng)絡就慢了。再多，急劇變慢。

理想情況應該是按TCP連接在CPU之間平衡（一個連接的中斷在一個CPU)。而不能是不管連接將網(wǎng)卡中斷在CPU間平衡。

做NAT的機器的中斷也不能在CPU之間平衡。自己機器無所謂，卻給被服務的機器造成的無窮無盡的煩惱（不該到的先到問題）。

獨孤九賤

原帖由 思一克 于 2009-5-19 14:18 發(fā)表
這個問題不好理想解決。
就是說不能將網(wǎng)絡中斷在個CPU平衡的太好。平衡的太好，網(wǎng)路傳輸反而慢了。因為TCP的特點是包有順序性，后面的包不應該快到。而CPU并行的結(jié)果就打亂了順序性。造成不該到的包先到，TCP協(xié) ...

是呀，亂序太多，的確麻煩。我有想過如果是IP包的話，可以按不同的IP地址hash來用不同的CPU調(diào)度……
不過相對CPU的占用率，Netfilter才是大頭，我更想在這上面節(jié)省點資源出來�，F(xiàn)在這種一個CPU負責一個網(wǎng)卡的模式，只要配置得當，勉強也能接受了。

marsaber

我K
九賤出馬，一個頂倆！

platinum

原帖由 思一克 于 2009-5-19 14:18 發(fā)表
這個問題不好理想解決。
就是說不能將網(wǎng)絡中斷在個CPU平衡的太好。平衡的太好，網(wǎng)路傳輸反而慢了。因為TCP的特點是包有順序性，后面的包不應該快到。而CPU并行的結(jié)果就打亂了順序性。造成不該到的包先到，TCP協(xié) ...

若根據(jù)連接進行分擔，而不是基于包的處理，這樣做的均衡效果一定不如包均衡，但還會出現(xiàn)上面說的亂序?qū)е轮嘏�，反而使網(wǎng)速降低的情況嗎？

coneagoe

沒有想過這個問題

terryfe

做了好久的SMP環(huán)境下的包轉(zhuǎn)發(fā)，總結(jié)幾點：
1. 對于普通網(wǎng)卡Linux協(xié)議棧無法進行實質(zhì)上的多CPU負載均衡，需要支持RSS（多隊列）的網(wǎng)卡，千兆比如intel 82575/6，萬兆如intel 82598等。網(wǎng)卡對數(shù)據(jù)流進行hash然后分配到多個隊列上，每個隊列對應一個msi-x中斷vector。這樣就真正實現(xiàn)了多CPU同時處理協(xié)議棧。
2. linux內(nèi)核從2.6.23開始支持多隊列的網(wǎng)卡，到2.6.27才完整支持（仍需要hack達到性能最優(yōu)），主要是NAPI結(jié)構(gòu)的修改和Qdisc的多隊列化。這種情況下在nehalem之前的平臺上，萬兆網(wǎng)卡測試轉(zhuǎn)發(fā)時FSB成為瓶頸（多CPU爭用）。
3. Nehalem可以解決FSB的問題，萬兆多隊列卡轉(zhuǎn)發(fā)可以做到500萬pps，此時PCIE的pps成為瓶頸。
4. 繼續(xù)上升可能需要PCIE v2.0 的支持，或者像某些NP架構(gòu)中使用專用總線避開PCIE的瓶頸。

思一克

原帖由 platinum 于 2009-5-19 21:06 發(fā)表

若根據(jù)連接進行分擔，而不是基于包的處理，這樣做的均衡效果一定不如包均衡，但還會出現(xiàn)上面說的亂序?qū)е轮嘏�，反而使網(wǎng)速降低的情況嗎？

基于連接的亂序就沒有了。一個連接給一個CPU, 就基本沒有后面的先到問題了（有一點是正常的，比如因為路由過程中的狀況）。
基于包不管連接，那問題是相當嚴重。我實驗過的。