讀取excel寫入文本，顯示Out of memory

fikong2005

有一堆excel需要入庫，想通過perl把他寫入到文本中，然后入數(shù)據(jù)庫。
單個(gè)excel的處理邏輯如下：
sub processExcel
{
my ($file)=@_;

my $cnt=0;
my $parser   = Spreadsheet:arseExcel->new();
my $formatter = Spreadsheet:arseExcel::FmtUnicode->new(Unicode_Map=>"CP936";
my $workbook = $parser->parse("$file", $formatter);
#my $workbook = $parser->parse("$file";

if ( !defined $workbook ) {
    die $parser->error(), ".\n";
}

for my $worksheet ( $workbook->worksheets() ) {
         $JSQ++;
  open (CONTROLFILE, ">>${OutputFile}${JSQ}.log" && print "${OutputFile}${JSQ}.log\n"
  or print "open ${OutputFile}${JSQ}.log failed\n";
    $cnt++;
   
    if ($cnt==$workbook->worksheet_count()) {next;}  ###最后一個(gè)sheet不用寫
   
    my ( $row_min, $row_max ) = $worksheet->row_range();
    my ( $col_min, $col_max ) = $worksheet->col_range();

    for my $row ( $row_min .. $row_max ) {
             if ($row== $row_min){next;} ####首行去掉
        for my $col ( $col_min .. $col_max ) {

            my $cell = $worksheet->get_cell( $row, $col );
            next unless $cell;

            print CONTROLFILE $cell->value(),"\t";
        }
        print CONTROLFILE "\n";
    }
    close CONTROLFILE;
    undef $worksheet;
}

}


處理90M的excel沒有問題，但是效率也不高要7分鐘，超過90M的excel，就會(huì)提示Out of memory的錯(cuò)誤信息。請問是哪里的問題呢？
我在任務(wù)管理器上看了perl的進(jìn)程耗了1.5G的內(nèi)存，從幾十M開始不斷增長到1.5G

jeppeter

回復(fù) 1# fikong2005


    這個(gè)要問你，機(jī)器有多少內(nèi)存。因?yàn)閜erl這樣處理其實(shí)很耗時(shí)，所以，如果真的資源緊張，要換一種方法，或者也可以用perl，但請先把文件，變成小文件，一個(gè)小文件，一個(gè)小文件的處理，這樣可以滿足你的要求。

fikong2005

回復(fù) 2# jeppeter


    要是手工變小文件，那我不如直接拷貝到UE了，呵呵，excel文件太多，手工處理不方便才考慮用perl實(shí)現(xiàn)的。我本機(jī)內(nèi)存才2G，虛擬內(nèi)存1G

zhlong8

代碼寫的沒問題就是內(nèi)存占用多，模塊的文檔中有一個(gè)小節(jié) Reducing the memory usage of Spreadsheet:arseExcel不知道你看了沒有