如何對100百萬行的字符串得到唯一字符串及計數(shù)?

yisn

我有100百萬行的字符串,約150的長度, 里面有一些是重復(fù)的字符串
現(xiàn)在想得到最終的去除重復(fù)后的字符串及每個字符串出現(xiàn)的次數(shù). perl中有什么快速的算法嗎?
google了下面的方法,不過速度也不快.
http://www.experts-exchange.com/ ... ous/Q_22722019.html

下面是對50百萬行的日志進(jìn)行計數(shù):
open(F,"logfile.log");
open(TMP,">temp.log");
while (<F>) {
  @data = split(/\t/,$_);   # logfile is tab-separated
  print TMP $data[5]."\n";     # ID is in the 6th column
}
close(F);
close(TMP);

$unique = `sort temp.log | uniq | wc -l`;
print "There are ".$unique." user ID's in the log file";

蘭花仙子

100W行不算太大，可以用hash.
如果覺得太大，那就用數(shù)據(jù)庫，然后group by。

蘭花仙子

在本版又是`sort`又是`uniq`的，我perl雄風(fēng)何在？

$ cat 1.txt
iii sfsdf sfdsf kkk 123 abc 456
iii isfsf fdsfe kkk 123 xyz 456
xxx xcfxs 23424 kkk 123 xyz 999
xxx xcfxs jljlj kkk 123 abc 999
zzz xcfxs xcvxv kkk 123 def 333
sdf xcfxs 23424 kkk 123 sdk 333
zzz xcfxs 08008 kkk 123 sdk 993

$ cat t1.pl
use strict;

my %hash;
open my $fd,"1.txt" or die $!;
while(<$fd>) {
    next unless /^(\S+\s+){5}(\S+)/;
    $hash{$2} ++;
}
close $fd;

print scalar keys %hash;

蘭花仙子

再差也要整個ruby實現(xiàn)~~

1. 
   
2. hash = Hash.new(0)
   
3. 
   
4. File.open("1.txt").each do |c|
   
5.    hash[$2] +=1 if c =~ /^(\S+\s+){5}(\S+)/
   
6. end
   
7. 
   
8. puts hash.keys.size

復(fù)制代碼

x9x9

在本版又是`sort`又是`uniq`的，我perl雄風(fēng)何在？
蘭花仙子 發(fā)表于 2010-11-16 20:34

    仙子好兇峰，ruby看不懂~

wxlfh

我有100百萬行的字符串,約150的長度, 里面有一些是重復(fù)的字符串
現(xiàn)在想得到最終的去除重復(fù)后的字符串及每個 ...
yisn 發(fā)表于 2010-11-16 19:44

    注意，樓主是100百萬行，也就是上億條的數(shù)量級。

orz_wohencai

回復(fù) 6# wxlfh


   其實看是看文件，要是重復(fù)的多的話，內(nèi)存也不會太大吧

x9x9

如果日志實在太大，是不可以考慮把它分割成兩三份，然后逐個讀入hash，之后再對分別輸出的文檔再hash一次？
可能這方法有點笨，但效率應(yīng)該能提高吧~

zhlong8

md5應(yīng)該沒150那么長吧

胡亂聯(lián)想下

iamlimeng

我perl雄風(fēng)何在？