為什么單目錄下子文件過多會影響性能?

瑪莉隔壁

為什么單目錄下子文件過多會影響性能?

如1個目錄下有10000個子文件，那么讀取某個文件的速度將會明顯慢下來？

這和文件索引有關(guān)嗎？索引中如何組織這些節(jié)點？

謝謝大家?guī)兔?/td>

冬瓜頭

是的，與索引有關(guān)。1w個不算多。上百萬個就看出來了。

瑪莉隔壁

上百萬個慢是文件系統(tǒng)整體吧

那么和當(dāng)前目錄怎么關(guān)系上呢？

放飛藍(lán)色夢想

原帖由 冬瓜頭 于 2009-2-25 20:42 發(fā)表
是的，與索引有關(guān)。1w個不算多。上百萬個就看出來了。

還有一個問題就是，文件系統(tǒng)不同，每個文件夾下能容納的文件數(shù)也是有限的，能說明一下這是為什么么？

冬瓜頭

一個差不多的文件系統(tǒng)支持幾百萬個文件算什么？
我是說一個目錄下，不分子目錄，直接放他幾十萬上百萬的文件，此時檢索這個目錄索引很費資源。
支持?jǐn)?shù)量有限是因為目錄這個對象本身容納的大小有被限制，目錄就是一個容納文件名和文件對應(yīng)inode號的容器，被限制了，那么容納的條目也就被限制了。

瑪莉隔壁

“目錄就是一個容納文件名和文件對應(yīng)inode號的容器”
這個和具體的操作系統(tǒng)有關(guān)吧？

wufeiwf

如果一個目錄下面有很多文件，至少幾十萬以上，我個人的經(jīng)驗是讀取某個指定文件名的文件速度沒有明顯的區(qū)別，幾百萬的沒有測試過。但是在這個目錄下面進(jìn)行文件查找速度會明顯降下來，而且同樣級別的文件數(shù)量，在AIX的jfs下面查找的速度要慢于linux的ext3，而且從機器性能來看，AIX的小型機要明顯優(yōu)于linux的PC服務(wù)器，不知道是否是單純從pc機的主頻來看速度要高的原因。

wufeiwf

我上面所說的讀取指定文件的速度是用C程序進(jìn)行fopen操作的速度，查找的速度是在目錄下面進(jìn)行find的操作。

冬瓜頭

是的，讀取某個文件速度沒影響。但是查找就費勁了。某些文件系統(tǒng)的索引機制不完善，甚至沒有什么優(yōu)化算法，致使每次查找耗費更多的時間。

love4u

我覺得跟文件存放在存儲介質(zhì)的位置有關(guān)

如果存放的位置都不是連續(xù)的話
讀取的文件的時候，系統(tǒng)執(zhí)行的指令就會有一個斷斷續(xù)續(xù)的過程，從而耗費了時間
我經(jīng)常碰到這種情況，在相同的目錄下存放了N萬個文件，直接查看指定的某一個文件，就很容易就
能看到文件內(nèi)容。如果是先進(jìn)入目錄，然后再執(zhí)行查看，進(jìn)入目錄就會耗費一定的時間