perl 如何對2G的大數(shù)量文本文件內(nèi)容排序?

yisn

大概2G的文本,有30百萬條記錄吧.
數(shù)據(jù)有6列,對其中的3列排序. 2列字符型,1列數(shù)值型. 形如:
Chr1    +      46      3      1      0
Chr1    -      1061    3      2      0
Chr1    +      1064    3      9      0
Chr2    -      1066    3      12      0


下面這個(gè)程序是可以排序的. 不過不知道有沒更快的辦法來排序?


#先讀文件
open(FF,'a.txt');
while ( <FF>){
    $l=trim($_);
    push(@list ,[split(/\t/,$l)]);
}

#排序選項(xiàng)
sub seniority {
  $a->[0] cmp $b->[0]
  or $a->[1] cmp $b->[1]
  or $a->[4]  <=> $b->[4]
}

#排序
@ranked = sort seniority @list;
foreach $emp (@ranked) {
  print "$emp->[0]\t$emp->[1]\t$emp->[4]\t$emp->[5]\t$emp->[2]\n";
}

hitsubunnu

試試 DBD：：CSV

wxlfh

試試導(dǎo)入到數(shù)據(jù)庫，然后你想怎么排就怎么排了。

toniz

回復(fù) 1# yisn

1. print map {$_->[3]}
   
2. sort {$a->[0] cmp $b->[0] or $a->[1] cmp $b->[1] or $a->[2]  <=> $b->[2] }
   
3. map {[(split(/\t/,$_))[0,1,4], $_]} <DATA>;
   
4. 
   
5. __DATA__
   
6. Chr1        +        46        3        1        0
   
7. Chr1        -        1061        3        2        0
   
8. Chr1        +        1064        3        9        0
   
9. Chr2        -        1066        3        12        0

復(fù)制代碼

1. [etl@dmtest ]$ perl putest13.pl
   
2. Chr1    +       46      3       1       0
   
3. Chr1    +       1064    3       9       0
   
4. Chr1    -       1061    3       2       0
   
5. Chr2    -       1066    3       12      0

復(fù)制代碼

yybmsrs

回復(fù) 1# yisn


    這么大的文件如果都放在數(shù)組里面是很慢的，最好的方法還是導(dǎo)入到數(shù)據(jù)庫中，或者可以用下文本數(shù)據(jù)庫。

ioerr

關(guān)注中，大數(shù)據(jù)量情況下，不知道那種排序最快。高人指點(diǎn)下

toniz

回復(fù) 6# ioerr


      我覺得只要排序方法是把大數(shù)據(jù)讀進(jìn)內(nèi)存的，都要受到機(jī)器性能的限制。


關(guān)注下有無更好的方法。

yisn

謝謝各位. 看來沒什么簡單的辦法.
因?yàn)槲覕?shù)據(jù)里第1,2列范圍比較小,值基本是固定的幾個(gè)值. 所以我現(xiàn)在只好把數(shù)據(jù)先分裝到小文件中,再對小文件排序,再合并了.

xti9er

用數(shù)據(jù)庫吧 速度不是一個(gè)數(shù)量級的

wywdtx

建議不要使用perl處理這么大的文件，消耗的內(nèi)存將不止8G