如何對100百萬行的字符串得到唯一字符串及計數(shù)?

wxlfh

最好能提供10多兆字節(jié)的樣本數(shù)據(jù)，wxlfh@qq.com

wxlfh

隨手寫了個，不知道對樓主有沒有幫助，呵呵。

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. open my $in, "<", "Logfile.log" or die "Open Logfile.log error.\n";
   
6. open my $out,">", "Logfile.out" or die "Create file error.\n";
   
7. 
   
8. my %hash;
   
9. while (<$in>) {
   
10.     $id = (split /\t/)[5];  #第6列是ID
    
11.     $hash{$id}++;
    
12. }
    
13. 
    
14. while (my ($key,$value)= each %hash) {
    
15.     print $out "$key\t$value\n";
    
16. }
    
17. 
    
18. print "There are ",scalar keys %hash," IDs.\n";
    
19. 
    
20. close $in;
    
21. close $out;

復(fù)制代碼

2gua

hash是經(jīng)過優(yōu)化的，可以試試看啊。

蘭花仙子

隨手寫了個，不知道對樓主有沒有幫助，呵呵。
wxlfh 發(fā)表于 2010-11-17 10:47

    友情提示下：split比regex慢很多。

wxlfh

友情提示下：split比regex慢很多。
蘭花仙子 發(fā)表于 2010-11-17 15:28

    是嗎？受教了。

yisn

謝謝各位大展雄風(fēng)~ 俺先試試看再來反饋.

上面的日志文件是隨便說的. 然后發(fā)現(xiàn)其實我的字符串是有1000百萬而不是100百萬,內(nèi)牛滿面...

文件是一行行atcg的字符串,類似
cagggcagaaccttgtactgcacctgcagtgcagagcaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
cagggcagaaccttgtactgcacctgcagtgcagagccaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
cagggcagaaccttgtactgcacctgcagtgcagaggccaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
cagggcagaaccttgtactgcacctgcagtgcagaggccaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
cagggcagaaccttgtactgcacctgcagtgcagagggccaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
cagggcagaaccttgtactgcacctgcagtgcagaggggccaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
...

字符串的重復(fù)度也不是很多,但是必須把相同的組合起來并計數(shù).
比如90G的文件,組合后剩60G這樣.

hitsubunnu

請改用 天河一號超級計算機(jī)

zhlong8

樓上搶我臺詞……

jason680

謝謝各位大展雄風(fēng)~ 俺先試試看再來反饋.

上面的日志文件是隨便說的. 然后發(fā)現(xiàn)其實我的字符串是有1000百萬 ...
yisn 發(fā)表于 2010-11-19 10:01

Mastering Perl for Bioinformatics
http://oreilly.com/catalog/mperlbio/chapter/ch09.pdf

http://www.bioperl.org/wiki/Getting_Started

工欲善其事，必先利其器

Pro_sky

用hash唄,內(nèi)存不夠就用外存