如何提高SHELL處理大文本時(shí)的效率

nees

最近在弄一個(gè)SHELL,其功能是對(duì)INPUT的文件(CSV)進(jìn)行格式檢查,如空值檢查,格式檢查(如判斷日期,時(shí)間的格式是否合法)等.處理完畢后再將處理結(jié)果寫到日志中.

現(xiàn)在遇到一個(gè)問題,就是SHELL運(yùn)行效率非常低下,處理10000行的數(shù)據(jù),得花40多分鐘.不曉得大家有何招數(shù)提高效率?

對(duì)于這個(gè)SHELL,我覺得有幾個(gè)點(diǎn)可能會(huì)提高效率,但不曉得如何實(shí)現(xiàn):

1,此SHELL中涉及到一個(gè)配置文件,此文件定義了對(duì)哪些列作何種類型的CHECK,現(xiàn)在的程序是每讀一行INPUT的數(shù)據(jù),都要讀一次這個(gè)配置文件. 能否一次性的將此文件讀入內(nèi)存,以后直接從內(nèi)存里讀取?

2,此SHELL中寫日志時(shí),是發(fā)現(xiàn)一個(gè)問題寫一次日志. 我想問的是,能否將日志先緩存一下,待到積累到一定數(shù)量時(shí)才物理的寫磁盤?

3,此SHELL基本上是用純SHELL語法實(shí)現(xiàn)的,中間夾雜了一些AWK. 我想問的是,對(duì)于大文本數(shù)據(jù)的處理,用什么工具效率會(huì)比較高?

ywlscpl

把input文件樣本貼出來，格式是如何檢查的說明一下

nhw_cs

1,此SHELL中涉及到一個(gè)配置文件,此文件定義了對(duì)哪些列作何種類型的CHECK,現(xiàn)在的程序是每讀一行INPUT的數(shù)據(jù),都要讀一次這個(gè)配置文件. 能否一次性的將此文件讀入內(nèi)存,以后直接從內(nèi)存里讀取?
所謂讀入內(nèi)存, shell中無非是兩種方法: 1. 存入變量(這實(shí)際是廢話, 所有放入內(nèi)存的東西本質(zhì)上都是存放在變量中)

如: config_items=$(<config_file)

第二種方法: 使用 pipeline:

如: cat config_file | cmd1 | cmd2

2,此SHELL中寫日志時(shí),是發(fā)現(xiàn)一個(gè)問題寫一次日志. 我想問的是,能否將日志先緩存一下,待到積累到一定數(shù)量時(shí)才物理的寫磁盤?

同上, 所謂緩存, 就是將結(jié)果現(xiàn)存放在某個(gè)shell變量中

3,此SHELL基本上是用純SHELL語法實(shí)現(xiàn)的,中間夾雜了一些AWK. 我想問的是,對(duì)于大文本數(shù)據(jù)的處理,用什么工具效率會(huì)比較高?

用什么工具取決于要做的操作 ..如果可能, 盡量用 grep -xF -f ..，來實(shí)現(xiàn)搜索

laohuanggua

蘭州呢？冒個(gè)泡哈

Shell_HAT

CSV文件、配置文件、shell腳本全部貼出來看看

xiaobaibbb

sed awk就擅長(zhǎng)文本處理，還慢的話那有什么能更快的
源文件給出來看看

iori809

估計(jì)LZ不是用SED AWK做的
可能是循環(huán)什么的吧

redspider

不用想，肯定是lz代碼寫得有問題。

waker

不會(huì)是把數(shù)據(jù)文件open/close了10000+次吧

feillex

純awk腳本處理6G日志，總共3300萬行記錄，不到6分鐘。