【求助】關(guān)于一個(gè)out of memory的問(wèn)題

飛越地平線

32G的內(nèi)存，在運(yùn)行一個(gè)perl腳本時(shí)提示out of memory！
以下是程序的一部分，有人知道么？

1. #@{$fh{$key}}存儲(chǔ)文件名為$key的文件內(nèi)容;
   
2. #所有的key文件讀完之后內(nèi)存使用在1.5G左右；
   
3. #以下是程序的一部分；
   
4. for my $in(@file){                            #   9個(gè)輸入文件@file大小總共在20M左右；
   
5.         open IN,"<","$in" or die "Can't open $in!\n";
   
6.         my @array;
   
7.         map {chomp;next if(/^\s*$/);push @array,[split('\t',$_)]} <IN>;            
   
8.         close IN;
   
9.         open OUT,">","$in.out";
   
10.         for my $gene(@array){
    
11.                 my $num=0;
    
12.                 foreach my $line(@{$fh{$gene->[0]}}){
    
13.                         last if ($gene->[1] <= $line);
    
14.                         $num++ if ($line > $gene->[1]);     
    
15.                 }
    
16.                 print OUT "$num\n";
    
17.         }
    
18.         close OUT;
    
19. }
    

復(fù)制代碼

rubyish

在第7行有一個(gè)錯(cuò)誤，但問(wèn)題不是在這里~

py

map不應(yīng)該這么用。你該用foreach/for循環(huán)

你把代碼寫的可讀性高一些，錯(cuò)誤就很容易檢查出來(lái)了

大米白面

邊讀邊寫就沒(méi)問(wèn)題了。

飛越地平線

回復(fù) 4# 大米白面
邊讀邊寫太慢了，所以我想一次性全讀進(jìn)去，感覺不是內(nèi)存的問(wèn)題，因?yàn)?G和32G的電腦都卡在差不多的地方就停了。


   

飛越地平線

回復(fù) 3# py
@rubyish

是什么錯(cuò)誤？語(yǔ)法沒(méi)有提示錯(cuò)誤，我以為是正常的。。
我用8G的和32G的電腦跑了下，都差不多在生成1.3M大小的文件的時(shí)候停住了。不知道是什么原因？
本人菜鳥，才剛學(xué)編程，還沒(méi)有遇到過(guò)out of memory的問(wèn)題。。求大神指點(diǎn)指點(diǎn)。。

zhlong8

map 里面那個(gè) next 作用的是外層的 for my $in (@file) { 循環(huán)

錯(cuò)誤有語(yǔ)法錯(cuò)誤這個(gè)編譯器可以幫你，但還有邏輯錯(cuò)誤

飛越地平線

回復(fù) 7# zhlong8
以前也犯過(guò)這個(gè)錯(cuò)誤。。，這次又犯了一次��！

   

飛越地平線

回復(fù) 2# rubyish

1. #@{$fh{$key}}存儲(chǔ)文件名為$key的文件內(nèi)容;
   
2. #所有的key文件讀完之后內(nèi)存使用在1.5G左右；
   
3. #以下是程序的一部分；
   
4. my @file = glob "$dir\\*bed";
   
5. my @bed = glob "$dir3\\*";
   
6. 
   
7. for (@bed){
   
8.         my $name = $_;
   
9.         $name =~ s/.*bed_(.+)_(.+)\.bed/$1$2/;
   
10.         $fdir{$name} = $_;
    
11. }
    
12. while(my ($key, $value)= each %fdir){
    
13.         open BED,"<","$fdir{$key}" or die "Can't open file: $key!\n";
    
14.         @{$fh{$key}} = map {
    
15.                                                 chomp;
    
16.                                                 (split '\t')[2];
    
17.                                                 } <BED>;
    
18.         close BED;
    
19. }
    
20. 
    
21. print "Begin\n";
    
22. for my $in(@file){                            #   9個(gè)輸入文件@file大小總共在20M左右；
    
23.         open IN,"<","$in" or die "Can't open $in!\n";
    
24.         my @array;
    
25.                 while(<IN>){
    
26.                         chomp;
    
27.                         next if(/^\s*$/);
    
28.                         push @array,[split('\t',$_)];
    
29.                 }
    
30.         close IN;
    
31.         open OUT,">","$in.out";
    
32.         for my $gene(@array){
    
33.                 my $num=0;
    
34.                 foreach my $line(@{$fh{$gene->[0]}}){               #平均有1800000行;
    
35.                         last if ($gene->[1] <= $line);
    
36.                         $num++ if ($line > $gene->[1]);     
    
37.                 }
    
38.                 print OUT "$num\n";
    
39.         }
    
40.         close OUT;
    
41. }

復(fù)制代碼

大俠們，代碼差不多就是這樣了；
但是還是有問(wèn)題，我用的是win7，內(nèi)存使用在4.5G的時(shí)候就提示out of memory了。電腦內(nèi)存有8G

   

rubyish

哦。水平有限, 看不出生成 out of memory 的問(wèn)題。
你貼文件內(nèi)容,說(shuō)你的意圖, 幫你改寫也許更快解決問(wèn)題。