kswapd 忙導(dǎo)致系統(tǒng)變慢

xiegang112

我的rhel5上運(yùn)行了幾個i/o進(jìn)程，這些進(jìn)程在往陣列的盤上（非本地）發(fā)i/o。開始時很正常，當(dāng)memory被逐漸用完后，pdflush和kswapd被調(diào)用來釋放cache。pdflush執(zhí)行完畢后，通過top看到free的memory已經(jīng)比較多了，但是這個時候，kswapd仍然在繼續(xù)執(zhí)行，其占用了大部分cpu時間。這個時候系統(tǒng)變得非常慢。此時觀察到其實cpu占用率并不高。但是本地盤的i/o
wait 比較高。這個時候，陣列上的盤io wait 正常，并且free的memory不會像開始那樣減少。也就是page
cache沒有增加。我把那幾個i/o進(jìn)程kill了，系統(tǒng)過一會兒又恢復(fù)正常。
各人認(rèn)為系統(tǒng)變慢的直接原因是kswap的nice比較高，導(dǎo)致占用大部分cpu時間。但是不明白，為什么通過top看到大部分memory已經(jīng)free了，kswapd還在保持運(yùn)行�？戳讼耴swapd的代碼，對于一個memory
zone，如果空閑的page超過了page_high，就應(yīng)該停止shrink_zone了。
另外，陣列上的i/o仍然在走，但為什么沒有page cache 在增加？

綜合以上現(xiàn)象，個人分析原因可能是：
在memory耗盡時，pdflush啟動刷新dirty的page cache。kswapd啟動，調(diào)用shrink_zone等函數(shù)回收page
cache。之后，free的memory變大。但是這個時候，kswapd并沒有停止。i/o進(jìn)程在繼續(xù)寫，這導(dǎo)致page
cache變?yōu)閐irty。但這個時候，由于kswapd還在工作。同步dirty
page的事情就由kswapd調(diào)用page_out來做了(這就是為什么i/o仍然在繼續(xù)，但是page
cache沒有增加的原因吧？)。因此，kswapd會一直占用cpu。但這個解釋有個矛盾就是，按照代碼，free的memory大于page_high時，kswapd就應(yīng)該停下來才對。

不知道大家遇到過這個情況沒有？
謝謝

xiegang112

查了下ulk，看起來有點像交換失效(swap thrashing)。但是上面說在2.6.9中已經(jīng)加入了swap token來防止交換失效。而且，用top觀察，free的memory還很多。

windaoo

我覺得系統(tǒng)變慢的原因不是 cpu 高，而是因為之前 cache 的程序/數(shù)據(jù)被擠出緩沖導(dǎo)致
其它的我就不完全知道是怎么回事了


關(guān)注，呵呵

xiegang112

實際上觀察到得cpu并不高。我在正常機(jī)器上做了同樣實驗，但是設(shè)置swappness為100.會出現(xiàn)類似現(xiàn)象，系統(tǒng)變慢。但是一個很大不同點就是，不像前面，這次free的memory會保持增加和減少的交替進(jìn)行。而之前只要一被回收回來，就不會再減少了。不過感覺還是和交換失效有關(guān)。

[ 本帖最后由 xiegang112 于 2009-7-29 09:21 編輯 ]