急等awk處理maillog大文件

guobaofu

CUer，大家好，
我現(xiàn)在遇到一個(gè)問題，就是awk處理3個(gè)G的文件，非常的慢，等很長時(shí)間也沒有結(jié)果。機(jī)器配置挺高的。
我的例子文件只有10000行，awk很快就能檢索出我的需要的數(shù)據(jù)。
但是我們生產(chǎn)環(huán)境的mail log都是幾千萬行級(jí)別的，我是每分鐘需要檢索數(shù)據(jù)來自于上次行號(hào)到這次末行的記錄。

請(qǐng)大家?guī)臀覂?yōu)化一下awk,如果能夠?qū)崿F(xiàn)單行perl也行，我可以嵌套到shell里面。





awk 'BEGIN {sent=0;reject=0} {
                   if (NR>'"$_last_line"' && NR<='"$_current_line"' && $0 ~ /to=.*status=sent/){sent++}
                   else if ($0 ~ /postfix.*reject:/){reject++}
                   };
                   END {printf("Sent Messages: %.1f\n" "Reject Messages: %.1f\n",sent/60,reject/60) }' /var/log/maillog

wh7211

awk沒有多少優(yōu)化空間，剛才用你的代碼測試了一個(gè)10M大小、10萬行記錄的maillog只需要1秒，建議你分割一下maillog然后再運(yùn)行代碼。

chengchow

這個(gè)用tail去做，awk/sed/grep都是將文件全文讀取到內(nèi)存再處理，處理大文件效率非常低下，給你個(gè)我這邊處理日志的腳本，自己去看
思路是，想通過tail從后往前，每次讀取1000行，直到滿足自己要求為止，目前監(jiān)控最后2分鐘日志，最多的一個(gè)項(xiàng)目每次讀取大約50000多行，全文不低于2000W行，3G+,JAVA日志
最后對(duì)已經(jīng)讀取的日志做處理，目前用于生產(chǎn)，處理每天幾個(gè)G日志關(guān)鍵詞過濾，基本上抓取下2-3秒，全文抓取20秒以上

1. #!/usr/bin/env python
   
2. #coding:utf-8
   
3. 
   
4. """
   
5.         log_path:        日志相對(duì)路徑，取gluster[*]之后路徑
   
6.         key_value:        日志中出現(xiàn)的關(guān)鍵詞
   
7.         point_of_time:        日志時(shí)間點(diǎn)，單位(minutes)
   
8.         how_many_times:        關(guān)鍵詞出現(xiàn)次數(shù)
   
9. """
   
10. 
    
11. import os
    
12. import sys
    
13. import time
    
14. #import re
    
15. 
    
16. ## 規(guī)范參數(shù)數(shù)量
    
17. if len(sys.argv) != 5 :
    
18.         print "\nUsage: " + __file__ + " %log_path% %key_value% %point_of_time% %how_many_times%"
    
19.         print __doc__
    
20.         sys.exit()
    
21. 
    
22. ## 定義參數(shù)
    
23. LogHome=['/data/logs/gluster1','/data/logs/gluster2','/data/logs/gluster3'] ## 集群路徑，列表模式
    
24. ThorldCount=0        ## 關(guān)鍵詞出現(xiàn)次數(shù)初始值
    
25. RowCount=1000        ## 每次過濾日志行數(shù)
    
26. RowNum=200                ## 總過濾次數(shù)
    
27. LogList=[]                ## 設(shè)置一個(gè)空列表給日志路徑
    
28. 
    
29. ## 讀取帶入?yún)��?shù)
    
30. LogFile=sys.argv[1]
    
31. KeyWord=sys.argv[2]
    
32. DiffMin=sys.argv[3]
    
33. KeyWordCountThorld=sys.argv[4]
    
34. 
    
35. ## 連接日志路徑
    
36. for i in LogHome :
    
37.         if os.path.isfile(i + '/' + LogFile) :
    
38.                 LogList.append(i + '/' + LogFile)
    
39. 
    
40. if len(LogList)==0 :
    
41.         print "NULL"
    
42.         sys.exit(2)
    
43. 
    
44. ## 輪詢處理日志列表
    
45. for log in LogList :
    
46.         NowTimeStamp=int(time.time())
    
47.         OldTimeStamp=int(time.time())-int(DiffMin)*60
    
48.         NowTime=time.strftime('%Y-%m-%d %H:%M',time.localtime(NowTimeStamp))
    
49.         OldTime=time.strftime('%Y-%m-%d %H:%M',time.localtime(OldTimeStamp))
    
50. 
    
51. ## 以RowCount為單位找出需求時(shí)間內(nèi)最短日志
    
52.         for num in range(1,RowNum+1) :
    
53.                 HeadTime=os.popen('tail -' + str(RowCount*num)  + ' ' + log + ' | awk -F, \'NR==1{print $1}\'').read().strip('\r\n')
    
54.                 try:
    
55.                         HeadTimeStamp=int(time.mktime(time.strptime(str(HeadTime),'%Y-%m-%d %H:%M:%S')))
    
56.                 except:
    
57.                         continue
    
58.                 if HeadTimeStamp <= OldTimeStamp :
    
59.                         break
    
60.                 elif num==RowNum :
    
61.                         break
    
62. 
    
63. ## 找出需求時(shí)間內(nèi)最早日志時(shí)間
    
64.         for i in range(1,int(DiffMin)+1) :
    
65.                 ReCode=os.system('tail -' + str(RowCount*num)  + ' ' + log + ' | grep -P \'' + OldTime + '\' > /dev/null 2>&1')
    
66.                 if ReCode<>0 :
    
67.                         OldTimeStamp+=i*60
    
68.                         OldTime=time.strftime('%Y-%m-%d %H:%M',time.localtime(OldTimeStamp))
    
69.                 else :
    
70.                         OldTimeStamp=OldTimeStamp
    
71.                         OldTime=time.strftime('%Y-%m-%d %H:%M',time.localtime(OldTimeStamp))
    
72.                         break
    
73. ## 獲取日志中關(guān)鍵詞出現(xiàn)次數(shù)并自加到ThorldCount
    
74.         ThorldCount+=int(os.popen('tail -' + str(RowCount*num)  + ' ' + log + ' | sed -n "/^' + OldTime + '/,/^' + NowTime + '/p" | grep "' + KeyWord + '" | wc -l').read().strip('\r\n'))
    
75.                
    
76. ## 規(guī)范輸出
    
77. if ThorldCount<=int(KeyWordCountThorld) :
    
78.         print 'OK --- 關(guān)鍵詞: ' + KeyWord + '; 觸發(fā): ' + str(ThorldCount) + " (次); 讀取日志: " + str(RowCount) + '*' + str(num) + ' (行); 開始時(shí)間: ' + str(OldTime) + '; 結(jié)束時(shí)間: ' + str(NowTime)
    
79.         sys.exit(0)
    
80. else :
    
81.         print 'WARNING --- 關(guān)鍵詞: ' + KeyWord + '; 觸發(fā): ' + str(ThorldCount) + " (次); 讀取日志: " + str(RowCount) + '*' + str(num) + ' (行); 開始時(shí)間: ' + str(OldTime) + '; 結(jié)束時(shí)間: ' + str(NowTime)
    
82.         sys.exit(2)

復(fù)制代碼

jason680

回復(fù) 1# guobaofu

1. awk 無法解決你的問題
  沒有 file seek function

2. 有file seek function 功能可以
C/C++, Perl, Python,Java,...

3. 其他方法
數(shù)據(jù)庫,分割大文件,...

wh7211

回復(fù) 1# guobaofu



用tail把maillog中的從第${_last_line}行到最后一行的記錄重定向到新文件1.tmp，再用awk處理1.tmp：

1. tail -n +${_last_line}  /var/log/maillog > 1.tmp
   
2. awk 'BEGIN{sent=0;reject=0}/to=.*status=sent/{sent++}/postfix.*reject:/{reject++};END{printf("Sent Messages: %.1f\nReject Messages: %.1f\n",sent/60,reject/60)}' 1.tmp

復(fù)制代碼

guobaofu

謝謝各位大神的幫助～～