Perl 使用 Archive::Tar讀取 1G 的 Log文件 out of memory

hu_zhuang163

Perl 使用 Archive::Tar讀取 1G 的 Log文件  out of memory
系統(tǒng)環(huán)境：  win7  使用的是activePerl 5.16.2

代碼如下：

1.        
   
2.       
   
3.      my $logFile   = "E:\\a\\";
   
4.              my @zipFiles = glob $logFile . "log_*.tar.gz"or die "can't find/read tar.gz $logFile ";
   
5.         foreach (@zipFiles) {
   
6.                 my $fileList = $_;
   
7.                                 my $tar = Archive::Tar->new;
   
8.                                 $tar->read($fileList);
   
9.                                 my @files = $tar->list_files;
   
10.                                 foreach my $logName (@files) {
    
11.                                         if ( $logName =~ m/tanx_*/ ) {
    
12.                                                 $tar->extract_file( $logName, "tanxTemp.out" );
    
13.        
    
14.                                                 open( DATA, "<", "tanxTemp.out" ) || die "cannot open the file: $!\n";
    
15.                                                 while ( my $line = <DATA> ) {
    
16.                                                         my @lineAry  = split /,/, $line;
    
17.                                                         my $ip = $lineAry[8];
    
18.                                                          $tanxIPHash{$ip}="1";
    
19. 
    
20.                                                 }
    
21.                                                 close(DATA);
    
22.                                         }
    
23.                                        
    
24.                                 }
    
25.                 }
    
26. 
    
27. 
    

復(fù)制代碼

我大致知道原因   按照模塊說(shuō)明， 使用Archive::Tar這個(gè)模塊 read 方法 是把所有的內(nèi)容都讀取到內(nèi)存中在處理 ， 可能就是這個(gè)導(dǎo)致的

然后我使用這樣

1.        
   
2. my $next = Archive::Tar->iter( "example.tar.gz", 1, {filter => qr/\.pm$/} );
   
3. 
   
4.     while( my $f = $next->() ) {
   
5.         print $f->name, "\n";
   
6. 
   
7.         $f->extract or warn "Extraction failed";
   
8. 
   
9.         # ....
   
10.     }
    

復(fù)制代碼

好像還是不行 ，哪位高手有處理大文件的經(jīng)驗(yàn)的 ，求鏈接

只是一個(gè)紅薯

用while試試？

hu_zhuang163

看了模塊說(shuō)明

然后我使用了
    while( my $f = $next->() ) {
        print $f->name, "\n";

        $f->extract or warn "Extraction failed";

        # ....
    }

好像還是不行

回復(fù) 2# 只是一個(gè)紅薯


   

只是一個(gè)紅薯

  foreach (@zipFiles) =>while(..)是改成這個(gè)不行嗎

hu_zhuang163 發(fā)表于 2013-07-25 16:57
看了模塊說(shuō)明

然后我使用了