請(qǐng)大神指導(dǎo)從大日志文件中統(tǒng)計(jì)關(guān)鍵字次數(shù)的辦法

zbs168

需求如下：
文件A中有若干行數(shù)據(jù)，每行為一個(gè)關(guān)鍵字
文件B為大日志文件，大小為10G以下

想著能夠統(tǒng)計(jì)出文件A中每個(gè)關(guān)鍵字在B中的出現(xiàn)次數(shù)，例如
行1，3
行2，10
行3，100
。。。。。

最笨的辦法是逐行讀入后用grep，但是太費(fèi)時(shí)間，有沒(méi)有只打開(kāi)一次B文件，就能把A中所有行都統(tǒng)計(jì)出來(lái)的辦法呢？
請(qǐng)大神指導(dǎo)

zsszss0000

filea

1. aaa
   
2. bbb
   
3. ccc
   
4. ddd
   
5. eee
   
6. fff

復(fù)制代碼

fileb

1. aaa
   
2. aaa
   
3. aaa
   
4. bbb
   
5. bbb
   
6. bbb
   
7. ccc
   
8. ccc
   
9. ccc
   
10. ccc
    
11. ddd
    
12. ddd

復(fù)制代碼

1. awk 'NR==FNR{a[$0]=1;next}{if($0 in a)b[$0]++}END{for (i in b)print i,b[i]}' filea fileb | sort

復(fù)制代碼

1. aaa 3
   
2. bbb 3
   
3. ccc 4
   
4. ddd 2

復(fù)制代碼

yestreenstars

給個(gè)大概的思路你，因?yàn)椴恢�道你的文本時(shí)怎樣的，所以沒(méi)考慮邊界問(wèn)題，自己根據(jù)實(shí)際情況改一下吧~

1. awk 'ARGIND==1{a[$0]}ARGIND==2{for(i in a)if($0~i)a[i]++}ARGIND==3{printf "%s,%d\n",$0,a[$0]}' a b a

復(fù)制代碼

LikeLx

回復(fù) 2# zsszss0000

日志找關(guān)鍵字， b文本每行的數(shù)據(jù)應(yīng)該比a文本多，你這個(gè)就不好用了。
   

zsszss0000

1. awk 'NR==FNR{a[$0]=1;next}{for(i in a ){if($0~i)b[$0]++}}END{for (i in b)print i,b[i] }' filea fileb | sort

復(fù)制代碼

for(i in a ){if($0~i)b[$0]++}

zbs168

zsszss0000 發(fā)表于 2015-04-08 09:35
for(i in a ){if($0~i)b[$0]++}

filea:
#backup
aaa,1
bb,0
ccc,1
ddd,1

fileb:
08-Apr-2015 10:09:27.859 queries: client 180.95.168.249#51658 (aaa): view any-user: query: aaa IN AAAA + (9.9.9.9)
08-Apr-2015 10:09:27.859 queries: client 180.95.168.249#51658 (bb): view any-user: query: bb IN AAAA + (9.9.9.9)
08-Apr-2015 10:09:27.859 queries: client 180.95.168.249#51658 (aaa): view any-user: query: aaa IN AAAA + (9.9.9.9)
08-Apr-2015 10:09:27.859 queries: client 180.95.168.249#51658 (aaa): view any-user: query: aaa IN AAAA + (9.9.9.9)
08-Apr-2015 10:09:27.859 queries: client 180.95.168.249#51658 (ddd): view any-user: query: ddd IN AAAA + (9.9.9.9)

類似這樣的
filea里面的關(guān)鍵字指的是不帶#備注的行的逗號(hào)之前的，例如是
aaa
bb
ccc
ddd

結(jié)果想得到的是：
aaa,3
bb,1
ccc,0
ddd,1
這種結(jié)果，請(qǐng)指點(diǎn)

我是一隻羊

1. awk 'function m(x){for(i in a){x~a[i]?b[i]++:1}}NR==FNR{a[NR]=$0;next}{m($0)}END{for(j in b) print "Row "j" String "a[j]" Count "b[j]}' inputfile1 inputfile2

復(fù)制代碼

zsszss0000

1. awk -vFS=","' NR==FNR{a[$1]=1;next}{for(i in a ){if($0~i)b[$0]++}}END{for (i in b)print i,b[i] }' filea fileb | sort

復(fù)制代碼

回復(fù) 6# zbs168


awk -vFS=","' NR==FNR{a[$1]=1;next}


   

我是一隻羊

回復(fù) 6# zbs168

1. awk -F'[(),]' 'NR==FNR{a[$1]=NR;next}{($2 in a)?b[$2]++:1}END{for(i in b)print i,b[i]}' inputfile1 inputfile2

復(fù)制代碼

聆雨淋夜

回復(fù) 9# 我是一隻羊
($2 in a)?b[$2]++:1
這是啥意思