Linux SMP 優(yōu)化設(shè)計:控制面+數(shù)據(jù)面

tuibo

linux smp 應(yīng)用極力避免的缺點：
1，頻繁的調(diào)度，時鐘中斷造成的上下文切換
2，數(shù)據(jù)的內(nèi)核用戶空間拷貝
3，異常的發(fā)生，tlb缺頁異常
4，進程遷移造成cache等性能波動

如何設(shè)計優(yōu)化避免這些缺點呢？
  1，數(shù)據(jù)面核關(guān)閉所有中斷，除了mailbox中斷（控制面通知數(shù)據(jù)面用）。只跑一個內(nèi)核線程。 關(guān)閉時鐘后并不會帶來系統(tǒng)性的錯誤。但要調(diào)整rcu lock。
  2，數(shù)據(jù)面核值跑在內(nèi)核態(tài)線程，不用擔(dān)心內(nèi)存拷貝問題
  3，內(nèi)核中使用非映射段（mips：kseg0），其他體系結(jié)構(gòu)內(nèi)核對應(yīng)自己的設(shè)計�？梢员苊鈚lb缺頁異常。
  4，線程綁定，控制面線程都cpu_allows 設(shè)為控制面的核，init，kthread線程都只和控制面核親和。 數(shù)據(jù)面，跑一個實時線程即可。新增控制面通知數(shù)據(jù)面接口。其他修改，此處省略。

實際優(yōu)化設(shè)計運行情況： 在cavium mips 多核上，成功實現(xiàn)設(shè)計，性能和cavium極力推薦的SE(一個循環(huán))一樣，因為并無區(qū)別。但SMP優(yōu)勢又很明顯： 數(shù)據(jù)面核可以有效的利用現(xiàn)有l(wèi)inux內(nèi)核的豐富代碼，方便的核間共享數(shù)據(jù)（同一地址空間），良好的可移植性（linux代碼風(fēng)格，無需另搞一套）。

http://my.chinaunix.net/space.ph ... =blog&id=341685

獨孤九賤

這段時間也在考慮這個問題（網(wǎng)絡(luò)轉(zhuǎn)發(fā)層面）。
想法是用一個CPU處理通用功能，其它CPU盡量處理軟中斷。目前這種架構(gòu)，我覺得SMP下沒有必要每個CPU要進行一大堆的調(diào)度工作。

Godbach

回復(fù) 2# 獨孤九賤
個人覺得九賤兄的方法不錯

againyuan

本人覺得看你性能考慮程度，要是轉(zhuǎn)發(fā)是關(guān)鍵那么，我感覺就是要用SE模式
SMP過多的系統(tǒng)開銷是滿足不了性能的。

本人只用過SE的，因為真的不用考慮系統(tǒng)開銷，關(guān)鍵是考慮鎖，避免鎖的設(shè)計能拉升多核的強勁性能。

LZ能否多闡述一下SMP下的實現(xiàn)呢，大家學(xué)習(xí)一下

tuibo

關(guān)閉時鐘中斷，和其他中斷后，就沒有進程調(diào)度了，兄臺。 也就是一直輪詢，和se沒兩樣。但可以用的代碼全面，se里面沒有協(xié)議棧，其他都沒有，可移植性也差，se內(nèi)存管理也差。

txwwy

LZ  是恒楊的陳鵬?

tuibo

不是。 我是吐蕃

txwwy

只是發(fā)現(xiàn)你們搞的思路和平臺驚人的相似

tuibo

恒楊 是什么公司 ？

friend1268

1，數(shù)據(jù)面核關(guān)閉所有中斷，除了mailbox中斷（控制面通知數(shù)據(jù)面用）。只跑一個內(nèi)核線程。 關(guān)閉時鐘后并不會帶來系統(tǒng)性的錯誤。但要調(diào)整rcu lock。
對rcu_lock的調(diào)整是否會影響控制平面核的處理呢？
3，內(nèi)核中使用非映射段（mips：kseg0），其他體系結(jié)構(gòu)內(nèi)核對應(yīng)自己的設(shè)計�？梢员苊鈚lb缺頁異常。
這個是針對數(shù)據(jù)平面和控制平面共享的數(shù)據(jù)而言吧！

此外，當(dāng)前的這種優(yōu)化方式應(yīng)該也和Cavium的SE方式優(yōu)化相同了。