2G 文件找出出現(xiàn)次數(shù)最多的前10個(gè)

qqjue

上次發(fā)貼只是帶著對(duì)bash有疑惑有"不滿".解決不了我想要解決的問(wèn)題.所以總有點(diǎn)抵觸,為此不想在BASH上下功夫,看了幾天perl,最后覺(jué)得這樣有點(diǎn)偏了,我是學(xué)linux的.不是學(xué)編程的.雖然學(xué)了perl會(huì)對(duì)日常維護(hù)有幫助,但就整個(gè)shell,我們也只學(xué)了5天而已,這不是重點(diǎn),只是基礎(chǔ)的一小部分.我們學(xué)習(xí)的進(jìn)度很快,常用命令,shell,dhcp,httpd,namd,samba,vsftpd,troubleshooting,U盤(pán)LINUX,無(wú)人值守安裝,無(wú)盤(pán)linux,智能DNS....今天放假,沒(méi)去上課,有時(shí)間剛好解決了以前一直困繞著我的一個(gè)問(wèn)題. 就是一個(gè)2G的文件,找出里面出現(xiàn)次數(shù)最多的前10個(gè)單詞.
  如果是找英文單詞, 先用

1. sed -i 's/[^a-Z]/ /g' filename

復(fù)制代碼

如果處理的中文 先用

1. export LANG=zh_CN.UTF8 sed -i 's/./& /g' filename

復(fù)制代碼

然后用awk 處理 代碼如下

1. BEGIN{
   
2. top=15
   
3. }
   
4. 
   
5. { for (i=1;i<=NF;i++) statistic[$i]++}
   
6. END{
   
7. for (i=1;i<=top;i++) {max[i]=0;words[i]=""}
   
8. for (word in statistic)
   
9.         {
   
10.         for (i=1;i<=top;i++)
    
11.         { if (statistic[word]>max[i])
    
12.                 {
    
13.                   for(j=top;j>i;j--)
    
14.                      {max[j]=max[j-1];
    
15.                       words[j]=words[j-1];
    
16.                       }
    
17.                    max[i]=statistic[word];
    
18.                    words[i]=word;
    
19.                    break
    
20.                   }
    
21.         }
    
22.         }
    
23. for(i=1;i<=top;i++) print i"---->"words[i]":"max[i]
    
24. }

復(fù)制代碼

處理 250M文件 用時(shí)20秒. 2G的估計(jì)5分鐘左右就能搞定.shell 只是linux中的一部分,雖然它很重要,但也沒(méi)必要在這個(gè)上面浪費(fèi)太多精力.還有很多東西可以去鉆研.高級(jí)路由,SQL,系統(tǒng)調(diào)優(yōu),最后的難點(diǎn)是集群!!

Shell_HAT

我懷疑5分鐘左右搞不定2G的數(shù)據(jù)，能否勞駕樓主測(cè)試一下？

iori809

回復(fù) 1# qqjue


    這個(gè)我記得以前有本書(shū)里介紹過(guò)~忘了怎么寫(xiě)了，不過(guò)效率不錯(cuò)~
LZ一看就是想全方面發(fā)展的~加油吧

expert1

xuledw

上次發(fā)貼只是帶著對(duì)bash有疑惑有"不滿".解決不了我想要解決的問(wèn)題.所以總有點(diǎn)抵觸,為此不想在BASH上下功夫, ...
qqjue 發(fā)表于 2010-06-15 00:01

樓主自信滿滿那
用的了這么復(fù)雜么

Shell_HAT

回復(fù) 5# xuledw


你給個(gè)簡(jiǎn)單的讓大家學(xué)一下吧^_^

ywlscpl

討論兩個(gè)問(wèn)題：
1、中文單詞的問(wèn)題，“我愛(ài)吃蘋(píng)果皮”，這一句是6個(gè)單詞，還是5個(gè)單詞，還是4個(gè)？
2、單詞分行怎么判斷？

1. How ol
   
2. d are you

復(fù)制代碼

書(shū)寫(xiě)不規(guī)范？old后無(wú)空格

1. How old
   
2. are you

復(fù)制代碼

flw

丑陋的 awk 腳本，
如果換做是 Perl，直接就有現(xiàn)成的了吧。
http://search.cpan.org/~gavinc/List-MRU-0.04/MRU.pm

my $mru = new List::MRU( max => 20 );
foreach my $word ( ...... ){
    $mru->add( $word );
}

foreach my $item ( $mru->list ) {
    print "$item\n";
}

flw

我是學(xué)linux的.不是學(xué)編程的

lydtc139

誰(shuí)說(shuō)最難的是集群？LZ學(xué)了就知道了。。。。。。