讀遍一個(gè)大文件有什么好的方法嗎?

wildfish

我說(shuō)我的想法：
1。重整
2。rrn分段
3。submit多個(gè)rpg，并且確定首尾rrn,進(jìn)行并行計(jì)算。
我覺(jué)得這樣能夠縮短時(shí)間。

tme45

依你這么說(shuō)，那就是設(shè)計(jì)該大文件時(shí)，根本不應(yīng)該這么大，可以把它分拆成多個(gè)。

我在RS6000 DB2上處理過(guò)幾十T的數(shù)據(jù)，如果不分表的話，可能出現(xiàn)幾個(gè)T的表，如果不分拆的話，就算有機(jī)器可以搞定，但也沒(méi)有這樣的存儲(chǔ)設(shè)備支持得了那樣的速度，分表后沒(méi)有任何問(wèn)題。

tme45

把該表分拆吧，我在rs6000 DB2上處理幾十T的數(shù)據(jù)也是這樣設(shè)計(jì)的

Eagle_wolf

原帖由 wildfish 于 2006-1-4 19:38 發(fā)表
我說(shuō)我的想法：
1。重整
2。rrn分段
3。submit多個(gè)rpg，并且確定首尾rrn,進(jìn)行并行計(jì)算。
我覺(jué)得這樣能夠縮短時(shí)間。

是個(gè)方法,不過(guò)要寫(xiě)很多個(gè)程序,而且以后數(shù)據(jù)在增加還要改程序,每次執(zhí)行程序之前還要重整(這個(gè)的時(shí)間也不短)
也想過(guò)用share open的方法,但是它要求在同一個(gè)job下,不能并行運(yùn)行程序

Eagle_wolf

原帖由 tme45 于 2006-1-4 20:23 發(fā)表
把該表分拆吧，我在rs6000 DB2上處理幾十T的數(shù)據(jù)也是這樣設(shè)計(jì)的

恩,這個(gè)是設(shè)計(jì)的問(wèn)題,如何拆分?

Eagle_wolf

下午利用線程試了一下,利用共享文件指針的方法確實(shí)能提高很多,單進(jìn)程12000條記錄,沒(méi)條記錄用1/100000秒去處理,需要140秒,而多線程(14)同樣情況下只用了不到50秒
但是由于rpgle不支持遞歸,只能c寫(xiě) 但是c操作database file 實(shí)在是太費(fèi)事了 不太好

liu__jiang

原帖由 Eagle_wolf 于 2006-1-4 16:47 發(fā)表
需要對(duì)符合某些條件的數(shù)據(jù)作特殊處理,只能遍歷整個(gè)文件了

個(gè)人意見(jiàn)，不必那么復(fù)雜，你不是說(shuō)符合某些條件么？弄一個(gè)復(fù)合KEY，如TOSKEY，用這個(gè)TOSKEY  去  READE   在FILE，不知能不能滿足樓主需要（只找符合條件的，根本不必一條一條去讀）；另外建議也可以采用OPNQRYF試試。

coolk

OPNQRYF應(yīng)該更加慢的！

理想狀態(tài)應(yīng)該是對(duì)線程、多作業(yè)或者將檔案拆分！

^_^

[ 本帖最后由 coolk 于 2006-1-10 13:06 編輯 ]

胖有型

沒(méi)有完全領(lǐng)會(huì)樓主的意圖，但是如果確實(shí)只是要讀遍一個(gè)大文件，無(wú)非就是先DSPFD取出總記錄數(shù)（記得加加上deleted的，不然就不準(zhǔn)了），然后除一下你準(zhǔn)備并行的總進(jìn)程數(shù)，得到每個(gè)進(jìn)程要處理的記錄條數(shù)，最后CALL   RPG程序的時(shí)候，帶上一個(gè)起始記錄號(hào)，一個(gè)結(jié)束記錄號(hào)就OK了。

pbj968

原帖由 tme45 于 2006-1-4 20:20 發(fā)表
依你這么說(shuō)，那就是設(shè)計(jì)該大文件時(shí)，根本不應(yīng)該這么大，可以把它分拆成多個(gè)。

我在RS6000 DB2上處理過(guò)幾十T的數(shù)據(jù)，如果不分表的話，可能出現(xiàn)幾個(gè)T的表，如果不分拆的話，就算有機(jī)器可以搞定，但也沒(méi)有這樣的存 ...

應(yīng)該不是分表吧？ 我想是將一個(gè)表的分?jǐn)?shù)據(jù)塊來(lái)存放,如一個(gè)表的2005年數(shù)據(jù)放在一個(gè)數(shù)據(jù)塊，2006年數(shù)據(jù)放在另一個(gè)數(shù)據(jù)塊，象很厚的書(shū)先分部分在分章，這查詢時(shí)就較快；不知是否這樣請(qǐng)教!