linux環(huán)境下write怪現(xiàn)象(寫入500M耗時20S)

cp3alai

今天遇到了一個怪現(xiàn)象,因為我最后沒有排查到原因,只能盡力描述,希望遇到類似情況的大牛們提供一個思路.
我所作的是一個頻繁文件寫入的系統(tǒng),之前都好好的,但是今天突然各種丟包,最后定位到,系統(tǒng)調(diào)用write的時候,僅僅寫入500M,竟然會卡住10s ~ 20s.
我的環(huán)境是CentOS6.5, 文件系統(tǒng)是xfs, 3個2T盤做的raid0,通過dd測試,磁盤寫入性能可以達到380M/s .
就像問下各位大神,有沒有遇到過類似情況的,你們是怎么處理的?
謝謝!!!
也希望即使沒有遇到過類似問題的同學,也能過來發(fā)表一下自己的見解,不勝感激.

MMMIX

回復 1# cp3alai


    你是怎么寫的？

曾經(jīng)碰到一個問題，程序一旦打開log，就變得劇慢無比，最后發(fā)現(xiàn)是寫log的時候頻繁 flush，導致系統(tǒng)調(diào)用不但量大增多了，而且耗時也增加了。

cp3alai

我自己弄了兩個500M的緩沖區(qū),有數(shù)據(jù)的時候就往其中一個放,放滿以后就調(diào)用write去同步文件,沒有什么特別的地方,然后write就會卡頓20s左右,無論是xfs還是ext4都試過了,都會有這個問題.回復 2# MMMIX


   

MMMIX

回復 3# cp3alai


    用 dd 測試一下存儲寫入速度呢？

cp3alai

測過的,寫入速度384M/s,單獨寫了一個測試程序:往文件里面寫500M,僅用0.4s.回復 4# MMMIX


   

MMMIX

回復 5# cp3alai


    那估計就只能跟下程序看看是為什么停住了。

lolizeppelin

上代碼  打log

500M是什么樣子的500M

一次性寫入500M 還是一次寫一寫很多個文件加起來500M

有沒有并發(fā)寫

cp3alai

我試著單步調(diào)試過,一次寫500M程序很配合的就停在了write這里20s左右,著實怪異.

MMMIX 發(fā)表于 2016-05-13 18:09
回復 5# cp3alai

cp3alai

我單步調(diào)試過的,程序就是卡在write調(diào)用這里.的確存在并發(fā)寫的情況.三個寫文件線程,線程A,一次寫入500M,線程B,C一次寫入300M,磁盤IO 300M/S, 即使是這三個線程同時并發(fā)執(zhí)行寫操作,這個現(xiàn)象也太過怪異.沒有理由write會卡頓20S左右的時間.

lolizeppelin 發(fā)表于 2016-05-13 18:12
上代碼  打log

500M是什么樣子的500M

MMMIX

cp3alai 發(fā)表于 2016-05-23 12:25
我單步調(diào)試過的,程序就是卡在write調(diào)用這里.的確存在并發(fā)寫的情況.三個寫文件線程,線程A,一次寫入500M,線程 ...

涉及并發(fā)就不好說了。如果可以的話，最好是先把并發(fā)停掉/去掉，然后再看看，估計就正常了。