A,B文件對比，輸出C文件，求高效算法

fikong2005

我昨天已經(jīng)發(fā)了一貼，人氣不高，今天再發(fā)一貼，并給出實例

A是明細(xì)文件，B是關(guān)鍵字文件，
根據(jù)A的第二列值(逗號分隔)，去B(只有一列)的關(guān)鍵字文件匹配，存在，則輸出到C文件，
A,B,C的樣例數(shù)據(jù)：
A文件:
123,B,343Y65
321,C,6547657
435,D,23R4RT353
678,A,423242

B文件:
A
B

C文件:
123,B,343Y65
678,A,423242

具體算法：
sub filterFile
{
        my ($processFile,$filterFile1,$outputFile) = @_;
        my %hashFile;
       
        open (OUTFILE, ">>${outputFile}") or die "can't open file: $outputFile";
       
        open FH, "<$filterFile1" or die "can't open file: $filterFile1";
    while (<FH>)
     {
         chomp;
        $hashFile{$_} = 1;
     }
    close (FH);
       
        open FH, "<$processFile" or print "can't open file: $processFile";
    while (<FH>)
     {
        chomp;
        my @filed =split /,/ ;
        print OUTFILE "$_\n" if (defined$hashFile{$filed[1]});
     }
     
close (FH);
close(OUTFILE);
}      

測試樣例：
A文件:372M
B文件：20個關(guān)鍵字
耗時：75秒

因為正式環(huán)境的文件預(yù)計有2G左右大小，因此才更優(yōu)算法，謝謝各位大蝦幫忙。

iamlimeng

while (<FH>)
     {
        chomp;
        my @filed =split /,/ ;
        print OUTFILE "$_\n" if (defined$hashFile{$filed[1]});
     }

改為

while (<FH>)
     {
        my @filed =split(',',$_);
        print OUTFILE "$_" if ($hashFile{$filed[1]});
     }

以減少一點點操作，能提一點點速，肯定不明顯。

fikong2005

回復(fù)2樓，呵呵，嘗試了一下，節(jié)省了7秒鐘。

ttcn_cu

my $reg=join '|',keys %hashFile;
while (<FH>) {
        print OUTFILE "$_" if /^.*,($reg),/;
}

fikong2005

回復(fù)4樓，采用你的寫法后，只需要24秒，厲害啊，呵呵。
能否稍微解釋一下含義，謝謝！

iamlimeng

split是有點慢，在大量處理文本數(shù)據(jù)的時候，盡量用別的方式。正則也是較慢的。如果第一列是固定列寬，LZ可以使用substr，那樣會快不少。

zhlong8

人氣不高是因為問題簡單啊，各方面昨天基本都說到了……總不至于1+1也引起熱烈討論吧

wind_ch

1. 
   
2. while (<FH>)
   
3.      {
   
4.         $_ =~ m/^\d+,(\w)/;
   
5.         print OUTFILE "$_" if defined($hashFile{$1});
   
6.      }
   

復(fù)制代碼

fikong2005

謝謝 iamlimeng 的提示，第一列恰好是定長，因此我修改了 ttcn_cu 的語句為：
while (<FH>) {
        print OUTFILE "$_" if /^.{11},($reg),/;
      }
結(jié)果又快了7秒鐘。

liseen

1. 給正則加上 (?:
2. 另外提前編譯正則

可以再試試