對文本處理，shell，sed，awk和perl那個性能好呢

fikong2005

目前需要準(zhǔn)實(shí)時的對文件進(jìn)行處理，然后入庫，因?yàn)閿?shù)據(jù)庫性能已經(jīng)不堪重負(fù)，因此在入庫前對數(shù)據(jù)進(jìn)行文件級別的過濾。
整個控制流程采用perl，但是對文件進(jìn)行過濾是最耗時的工作，因此想問一下大蝦門，采用shell，sed，awk和perl哪種對文本處理的性能會強(qiáng)悍一點(diǎn)。
主要的過濾功能如下：
A文件是詳單(大概2G左右)，B文件是維度(幾十M)，A文件根據(jù)B文件里面不存在的維度進(jìn)行過濾。
如：
A文件:
A,DFSFD,FWFDG,DFSFDS
B,FDSFD,FSDFDS,FDSFER
C,FDSDRR,FDSDRG,DFDW
D,DRFSDR,FWRG,FDWRRD
B文件：
A
B
則過濾后，僅剩下：
A,DFSFD,FWFDG,DFSFDS
B,FDSFD,FSDFDS,FDSFER
請?zhí)峁┮幌滦阅茏顑?yōu)的核心代碼，謝謝��；)

zhlong8

性能估計(jì)差不多，都是最簡單的 RE 匹配

iamlimeng

都不是底層的需求，我也認(rèn)為性能會差不多，重要的是算法

fikong2005

謝謝樓上2位，借問可否有比較佳的算法，呵呵。

zhlong8

你連個能跑的都還沒寫……
把 b 構(gòu)建成 /^(?:A|B),/ 這樣的 RE 和 A匹配下來過濾。如果真的 b 有那么簡單你還可以用 c 來寫個函數(shù)來擴(kuò)展 Perl 怎么搞都行，但是最終你還是要測試才能知道哪個最優(yōu)

fikong2005

網(wǎng)上恰好有一段相關(guān)代碼，如下:
#!/usr/bin/perl -w
exit if (1 > $#ARGV);

my %map_orig;

my $file_orig = shift @ARGV;
open FH, "<$file_orig" or die "can't open file: $file_orig";
while (<FH>) {
        chomp;
        #$map_orig{$_} = 1;
        my ($filed) = split(" ");
        $map_orig{$filed} = 1;
}
close (FH);

my $file_diff = shift @ARGV;
open FH, "<$file_diff" or die "can't open file: $file_diff";
while (<FH>) {
        chomp;
        my ($filed) = split(" ");
        print "$_\n" if (!defined$map_orig{$filed});
}
close (FH)


不知道效率如何，請賜教，謝謝！

fikong2005

頂頂更健康。

ztkx

例子也是網(wǎng)上的，LZ敢情一句代碼也不愿意寫

我的想法是先讀入文件B，構(gòu)建一個Hash，然后查找這個Hash

既然B這么大，Shell一定會慢一些吧, 其他不知道誰會快，sed寫起來簡單些，我覺得

wind_ch

"數(shù)據(jù)庫性能已經(jīng)不堪重負(fù)", 而且又要"準(zhǔn)實(shí)時", 那你只能再弄個強(qiáng)悍的機(jī)器來進(jìn)行文本處理了.