讀遍一個(gè)大文件有什么好的方法嗎?

Eagle_wolf

一個(gè)數(shù)據(jù)量很大的文件(千萬(wàn)左右)如果正常的從頭讀到尾,大概需要幾十分鐘,如果對(duì)一些特殊的記錄還要做特殊處理的話,時(shí)間就會(huì)更長(zhǎng),有什么好的方法能快速的讀遍整個(gè)文件嗎?

試過(guò)在f表加block關(guān)鍵字,但是效果不明顯,而且中間特殊記錄的處理仍然會(huì)耗費(fèi)很多時(shí)間

還想過(guò)建個(gè)數(shù)據(jù)區(qū),把當(dāng)前讀到的rrn寫到數(shù)據(jù)區(qū)里,然后同時(shí)運(yùn)行多個(gè)程序,每個(gè)程序從數(shù)據(jù)區(qū)里面取rrn,根據(jù)rrn讀取數(shù)據(jù),但是這就又增加了讀取數(shù)據(jù)區(qū)的時(shí)間和等待數(shù)據(jù)區(qū)解鎖的時(shí)間,雖然同時(shí)運(yùn)行足夠多的程序會(huì)提高一定的時(shí)間,但是占用資源較大

還有什么好的方法嗎?

mickeycheng

原帖由 Eagle_wolf 于 2006-1-4 16:40 發(fā)表
一個(gè)數(shù)據(jù)量很大的文件(千萬(wàn)左右)如果正常的從頭讀到尾,大概需要幾十分鐘,如果對(duì)一些特殊的記錄還要做特殊處理的話,時(shí)間就會(huì)更長(zhǎng),有什么好的方法能快速的讀遍整個(gè)文件嗎?

試過(guò)在f表加block關(guān)鍵字,但是效果不明顯 ...

請(qǐng)問(wèn)你讀遍整個(gè)文件的目的是什么？如果僅僅是取得記錄數(shù)那么不需要這樣讀的，如果要做處理那我想只能從頭到尾讀了。

Eagle_wolf

需要對(duì)符合某些條件的數(shù)據(jù)作特殊處理,只能遍歷整個(gè)文件了

sean810

請(qǐng)問(wèn): 需要處理的數(shù)據(jù)占整個(gè)數(shù)據(jù)量是多少?
        如果只是少數(shù)數(shù)據(jù)需要處理,那就建立一個(gè)index....如果需要處理全部數(shù)據(jù),那看來(lái)也沒(méi)有辦法了....因?yàn)槟阋呀?jīng)用了block

Eagle_wolf

原帖由 sean810 于 2006-1-4 16:47 發(fā)表
請(qǐng)問(wèn): 需要處理的數(shù)據(jù)占整個(gè)數(shù)據(jù)量是多少?
        如果只是少數(shù)數(shù)據(jù)需要處理,那就建立一個(gè)index....如果需要處理全部數(shù)據(jù),那看來(lái)也沒(méi)有辦法了....因?yàn)槟阋呀?jīng)用了block

索引是沒(méi)法子了 條件太復(fù)雜

sean810

啊? 我沒(méi)有遇到過(guò)這樣的問(wèn)題...因?yàn)閕ndex能提高60%以上的性能...
因?yàn)槟悴挥胕ndex,程序處理過(guò)程,也就不會(huì)高效了...
說(shuō)來(lái)看看你的條件又多復(fù)雜?

Eagle_wolf

和另一個(gè)文件有關(guān)了,要求他在另一個(gè)文件某個(gè)時(shí)間范圍內(nèi)出現(xiàn)的次數(shù)不能大于一個(gè)數(shù) 例如5

sean810

你試試看把文件名,時(shí)間設(shè)置為index. 請(qǐng)?jiān)O(shè)置2個(gè)index,分別是文件名,時(shí)間; 時(shí)間,文件名

Eagle_wolf

還有其他的條件,加索引是基本上不行了 感謝樓上!

mamei

opqryf
能不能達(dá)到你的要求？？