FastDFS 5.04之IO讀事件空轉(zhuǎn)導(dǎo)致CPU狂飆（BUG）

chang290

在與同事測(cè)試FastDFS過(guò)程中發(fā)現(xiàn)CPU有異常波動(dòng)的情況，八核心CPU在系統(tǒng)使用同時(shí)達(dá)到%60以上，不免詫異，遂對(duì)代碼進(jìn)行排查，發(fā)現(xiàn)storage有如下兩個(gè)問(wèn)題：
1）CPU短暫地飆升
2）特定的情況下，可以導(dǎo)致CPU永久飆升，直到停止程序
這兩個(gè)問(wèn)題都是由于IO讀事件空轉(zhuǎn)導(dǎo)致。
IO讀事件空轉(zhuǎn)也就是epoll觸發(fā)了一個(gè)讀事件，調(diào)用相應(yīng)地處理函數(shù)，而該處理函數(shù)什么事情也不干就返回了，由于事件觸發(fā)條件還在，因此調(diào)用epoll_wait后再次觸發(fā)，如此反復(fù)，CPU消耗在了系統(tǒng)調(diào)用上。

具體的分析過(guò)程，請(qǐng)看我的csdn博客：http://blog.csdn.net/hfty290/article/details/41257555

1）關(guān)于第一個(gè)問(wèn)題，我們目前沒(méi)有做修改
2）關(guān)于第二個(gè)問(wèn)題，我們的修改是在初始化的時(shí)候，分配所有的connection內(nèi)存，而不是分配256個(gè)，避免連接數(shù)增加時(shí)重分配內(nèi)存，導(dǎo)致IO任務(wù)丟失，CPU空轉(zhuǎn)。


請(qǐng)魚(yú)大多多指教，希望能夠盡快修復(fù)。

happy_fish100

你的博客寫(xiě)得非常詳盡，非常感謝你的反饋！
第二個(gè)問(wèn)題是一個(gè)比較嚴(yán)重的隱患，近期實(shí)現(xiàn)task buffer增量分配引入的，我今天下午已經(jīng)修復(fù)了。
再次感謝樓主的鉆研和回饋精神，贊！

skybob

@happy_fish100,你好，你剛修復(fù)好的版本，更新上去了嗎？

happy_fish100

回復(fù) 3# skybob

已經(jīng)更新了，github地址：https://github.com/happyfish100/libfastcommon

ballbillow

樓主這個(gè)情況是怎么場(chǎng)景下復(fù)現(xiàn)的昵，我剛好在用這個(gè)版本

ballbillow

是超過(guò)256個(gè)并發(fā)就會(huì)出現(xiàn)么

skybob

回復(fù) 4# happy_fish100

非常感謝
是不是就把 fast_task_queue.c這個(gè)文件，覆蓋到服務(wù)器上，然后重新安裝下libfastcommon就好了？
   

happy_fish100

未必一定出現(xiàn)異常吧。我們這邊線上并發(fā)超過(guò)了1K，上線大約兩周還沒(méi)有發(fā)現(xiàn)異常。
隱患就是隱患，說(shuō)不定那天爆發(fā)，還是盡快修復(fù)為好。

happy_fish100

回復(fù) 7# skybob

恩，對(duì)的。
簡(jiǎn)單起見(jiàn)，可以整體git pull下來(lái)。

skybob

回復(fù) 9# happy_fish100


    好的，謝謝