如何降低softirq的cpu使用率

daniel_11

眾所周知，在網(wǎng)絡負載很重的時候，cpu容易全部被softirq占用。比如運行網(wǎng)絡吞吐量測試工具等場景。
問題是，如何在這種狀況下能保證用戶應用程序能夠正常運行？如何能夠降低cpu的使用率？
如果不開內核搶占如何？開內核搶占又如何？謝謝！

daniel_11

木有人談談看法么？是不是要加個懸賞。。。。。。

xs3c

你具體是啥情況，多核每個CPU上的softirq負載都高？還是就個別的CPU上高。 前者的話 感覺你需要換個強勁的CPU。 后面的話 看看能試試irqbalance。但是這個貌似weibo上霸爺有個測試。貌似說沒用。
http://blog.yufeng.info/archives/2422

鬼鬼一哈

可以考慮負載均衡方面和考慮網(wǎng)絡數(shù)據(jù)包使用dma方式(在第二次數(shù)據(jù)處理階段)。

daniel_11

回復 3# xs3c

謝謝關注！場景為單核cpu + 硬件加速模塊。不過因為要做一些復雜的協(xié)議處理，無法完全做cpu offload。在網(wǎng)絡負載很重的時候，系統(tǒng)響應非常慢，影響到一些業(yè)務流。
   

daniel_11

回復 4# 鬼鬼一哈
可以詳細講講么？謝謝關注！


   

瀚海書香

回復 1# daniel_11

眾所周知，在網(wǎng)絡負載很重的時候，cpu容易全部被softirq占用。比如運行網(wǎng)絡吞吐量測試工具等場景。
問題是，如何在這種狀況下能保證用戶應用程序能夠正常運行？如何能夠降低cpu的使用率？
如果不開內核搶占如何？開內核搶占又如何？謝謝！

其實這是一個設計原則的問題。內核在這方面的原則就是，軟中斷處理的優(yōu)先級高于用戶態(tài)應用程序。

可以將網(wǎng)絡軟中斷放到一個CPU上處理，應用程序使用其他的CPU
   

junnyg

瀚海書香 發(fā)表于 2013-04-13 12:33
回復 1# daniel_11

樓主的場景是單核CPU，所以核隔離做不到，我覺得是不是可以：
1. 在網(wǎng)卡驅動中做流控，主動丟包
2. 修改內核中斷處理流程，在硬中斷處理完后不處理軟中斷，全部交給軟中斷線程處理，并且將軟中斷線程的優(yōu)先級調低
3. 打開內核搶占，設置業(yè)務進程的優(yōu)先級為實時進程
不過這樣會導致包處理的延時增大，中斷實時性得不到保證

junior1108

回復 8# junnyg


    樓主的場景是單核CPU，所以核隔離做不到，我覺得是不是可以：
1. 在網(wǎng)卡驅動中做流控，主動丟包

主動丟包，這樣太暴力了吧。

2. 修改內核中斷處理流程，在硬中斷處理完后不處理軟中斷，全部交給軟中斷線程處理，并且將軟中斷線程的優(yōu)先級調低

如果想增強業(yè)務程序的響應的話。LZ可以看看試著強制中斷線程化。這樣除了時鐘中斷 大部分中斷都作為線程。再可以修改應用程序為sched_fifo。提高優(yōu)先級。

3. 打開內核搶占，設置業(yè)務進程的優(yōu)先級為實時進程
不過這樣會導致包處理的延時增大，中斷實時性得不到保證

LZ的情況，真應該換更強的CPU 或者換至少支持off load的網(wǎng)卡。然后再看看效果。

daniel_11

回復 9# junior1108

現(xiàn)實的情況是無法更換更強的cpu了，我個人也覺得要求有點過分，但大家都懂得。。。
確實有考慮做主動流控，但目前主要針對udp，tcp沒做。無法較好解決問題。
沒有強制做中斷線程化。
已經(jīng)有做優(yōu)先級調整，有一點效果。。。
對于內核搶占，還是比較猶豫，畢竟要犧牲性能，擔心不好交代啊。
謝謝關注！