[求助]誰(shuí)能幫我解釋一下e1000驅(qū)動(dòng)性能奇怪現(xiàn)象，我給他搓澡！

bekars

我的測(cè)試平臺(tái)xeon雙核1.8G，2G內(nèi)存，2.6.18.6內(nèi)核，7.4.27 e1000驅(qū)動(dòng)

64字節(jié)小包，UDP雙向，測(cè)試路由轉(zhuǎn)發(fā)。

用48%流量打時(shí)（發(fā)包數(shù)14,285,714）只丟6%，但是用46%流量（發(fā)包數(shù)13,690,476）打時(shí)卻要丟42%，用的是napi的驅(qū)動(dòng)，用nonapi驅(qū)動(dòng)沒(méi)有這個(gè)問(wèn)題。

我設(shè)置InterruptThrottleRate參數(shù)，固定一個(gè)每秒中斷次數(shù)還是有這個(gè)現(xiàn)象，搞不清楚是哪里引起這個(gè)現(xiàn)象的？

誰(shuí)幫我解釋一下我給他搓澡

12013396

你看看是不是因?yàn)閚api自身處理方式引起的問(wèn)題。

比如，napi在接到第一個(gè)rx interrupt 會(huì)用netif_rx_schedule()把net_dev掛到poll list上并關(guān)閉中斷，可此時(shí)如果你的buffer不夠大，那在softirq處理ingress packet時(shí)，也許已經(jīng)覆蓋掉N多個(gè)packet了(如果是循環(huán)使用的話(huà))。具體的驅(qū)動(dòng)沒(méi)看過(guò)，不知說(shuō)的對(duì)否？

BTW，如果說(shuō)對(duì)了，下次從你那買(mǎi)盤(pán)能不能再便宜點(diǎn)?

BTW2,你那要人不？呵呵

12013396

補(bǔ)一個(gè)，將增加net_dev->weight，最多為300試試

bekars

原帖由 12013396 于 2007-3-14 13:24 發(fā)表于 2樓  
你看看是不是因?yàn)閚api自身處理方式引起的問(wèn)題。

比如，napi在接到第一個(gè)rx interrupt 會(huì)用netif_rx_schedule()把net_dev掛到poll list上并關(guān)閉中斷，可此時(shí)如果你的buffer不夠大，那在softirq處理ingress pa ...

46%流量要比48%的流量少，buffer應(yīng)該夠用了，并且我每次都是測(cè)完一次一個(gè)流量，再重新測(cè)試另一個(gè)流量，不會(huì)有沒(méi)有處理完上次數(shù)據(jù)的問(wèn)題。

驅(qū)動(dòng)中每次中斷處理weight為64個(gè)包，我試過(guò)大一點(diǎn)300或者小一點(diǎn)性能都不如64。

今天在看RADV、ITR這幾個(gè)中斷超時(shí)寄存器，不知道是不是問(wèn)題出在這里，有做過(guò)的朋友給指點(diǎn)一下。

哈哈，兄弟還從我這里buy過(guò)盤(pán)，下次報(bào)上名來(lái)一定給你便宜，要是能幫我解決這個(gè)問(wèn)題免費(fèi)給你供應(yīng)。

[ 本帖最后由 bekars 于 2007-3-14 14:30 編輯 ]

12013396

我想，你是不是應(yīng)該看看是哪些包被drop了，有什么相似的地方?jīng)]有，或者丟的是否存在規(guī)律

bekars

原帖由 12013396 于 2007-3-14 16:00 發(fā)表于 5樓  
我想，你是不是應(yīng)該看看是哪些包被drop了，有什么相似的地方?jīng)]有，或者丟的是否存在規(guī)律

smartbit 6000測(cè)試儀，發(fā)的包都是一樣的，總是到減到一定的流量丟包突然多了，我現(xiàn)在在網(wǎng)卡轉(zhuǎn)發(fā)包的時(shí)候檢查一下網(wǎng)卡的狀態(tài)，看看哪里出問(wèn)題。

12013396

我的意思是，找一下變化的規(guī)律，比如，是固定發(fā)了多少個(gè)包后出現(xiàn)？還是在，比如流量大小什么的發(fā)生變化后出現(xiàn)？流量恒定時(shí)，是否有變化?

再有，你確定丟包是驅(qū)動(dòng)丟的嗎？與硬件無(wú)關(guān)(這個(gè)有點(diǎn)弱，但我還是明確的好)，在驅(qū)動(dòng)里加幾個(gè)hook，將驅(qū)動(dòng)收包操作的過(guò)程分解了，看看丟包具體在哪發(fā)生的。

另外，你是不是看看內(nèi)存的情況，特別是發(fā)生丟包前后的內(nèi)存情況，看與內(nèi)存有關(guān)系嗎？(e,g:skb)

bekars

我的意思是，找一下變化的規(guī)律，比如，是固定發(fā)了多少個(gè)包后出現(xiàn)？還是在，比如流量大小什么的發(fā)生變化后出現(xiàn)？流量恒定時(shí)，是否有變化?

在打48%流量時(shí)丟6%，而46%流量丟42%，現(xiàn)在的規(guī)律就是總是降低到一個(gè)流量時(shí)收包數(shù)突然降低了，收包數(shù)應(yīng)該是一個(gè)穩(wěn)定的值，在48%收包數(shù)是13,339,795pps，而到46%收包數(shù)是7,940,065，差不多下降了一半。流量恒定時(shí)每次結(jié)果都一樣，不存在不穩(wěn)定因素。


再有，你確定丟包是驅(qū)動(dòng)丟的嗎？與硬件無(wú)關(guān)(這個(gè)有點(diǎn)弱，但我還是明確的好)，在驅(qū)動(dòng)里加幾個(gè)hook，將驅(qū)動(dòng)收包操作的過(guò)程分解了，看看丟包具體在哪發(fā)生的。

目前硬件只有一臺(tái)，沒(méi)法做對(duì)比測(cè)試，有可能存在問(wèn)題，但是概率比較小。加hook的方法會(huì)影響轉(zhuǎn)發(fā)流程，測(cè)試性能會(huì)降低，現(xiàn)象可能就不準(zhǔn)確了，我現(xiàn)在在驅(qū)動(dòng)中加入一些計(jì)數(shù)器，對(duì)比不同流量的相關(guān)數(shù)值有什么變化。


另外，你是不是看看內(nèi)存的情況，特別是發(fā)生丟包前后的內(nèi)存情況，看與內(nèi)存有關(guān)系嗎？(e,g:skb)

內(nèi)存2G，夠大，重啟之后直接測(cè)試，和內(nèi)存關(guān)系不大�，F(xiàn)在256以下字節(jié)收包做了一次copybreak，48%流量要比46%流量對(duì)內(nèi)存的操作更多一些（因?yàn)槭盏降陌�多），所以感覺(jué)和內(nèi)存關(guān)系不大。

12013396

有結(jié)果了嗎?　把統(tǒng)計(jì)信息貼貼呀

等著看呢

bekars

又做了測(cè)試發(fā)現(xiàn)在不同中斷號(hào)的兩個(gè)網(wǎng)口如中斷號(hào)16和17的網(wǎng)口有上面的問(wèn)題，而在相同中斷號(hào)的網(wǎng)口正常，隨流量減少，丟包數(shù)也在減少。

還發(fā)現(xiàn)一個(gè)奇怪現(xiàn)象，在nonapi的情況下比有napi的性能要高，還沒(méi)有搞清楚怎么回事？