按照半小時(shí)為節(jié)點(diǎn)統(tǒng)計(jì)log

dabing12130

log的格式如圖所示，對(duì)應(yīng)字段解釋為 時(shí)間|ip|uid|接口|返回碼|耗時(shí)ms|入流量|出流量
現(xiàn)需求如下：30分鐘為單位，一天分割成48個(gè)單位，統(tǒng)計(jì)30分鐘內(nèi)流量大小，流量是入流量和出流量的總和
日志中的時(shí)間格式如下所示
1.       00：00：00-----00：29：59
...
48.     23:30:00------23:59:59   

我現(xiàn)在的問(wèn)題是不知道怎么處理時(shí)間？謝謝

dabing12130

給個(gè)log文件方便各位大大做測(cè)試，在線(xiàn)等！

關(guān)陰月飛

手機(jī)寫(xiě)代碼未測(cè)試:

1. awk -F\| '{split($1,a,":| ");n=a[3]<30?a[2]*2+1:a[2]*2+2;b[a[1],n]+=($7+$8)}END{for(i in b)print i,b[i]}' urfile

復(fù)制代碼

dabing12130

按照樓上大大命令執(zhí)行的結(jié)果如下：
2014-06-20 45 1983653360
2014-06-20 27 1819663913
2014-06-19 47 289522
2014-06-20 37 1921587360
2014-06-20 19 2301751035
2014-06-20 47 1872584738
2014-06-20 29 1696229116
2014-06-20 39 1835831772
2014-06-20 1 1340296113
2014-06-20 11 378667757
2014-06-20 3 634310519
2014-06-20 21 1689834513
2014-06-20 31 1458833069
2014-06-20 13 898379901
2014-06-20 5 386975977
2014-06-20 41 1915777882
2014-06-20 23 1565600290
2014-06-20 33 1566018193
2014-06-20 15 1373314312
2014-06-20 7 364810684
2014-06-20 43 2189732326
2014-06-20 25 1952754712
2014-06-20 35 1659971484
2014-06-20 17 1429052397
2014-06-20 9 254111193

這個(gè)結(jié)果不對(duì)，看不懂第二個(gè)字段表示什么意思，第三行還有2014-06-19的數(shù)據(jù)，我希望得到的結(jié)果是
2014-06-20  00：00：00-00：29：59    流量大小(入流量+出流量)/1024
2014-06-20  00：30：00-00：59：59    流量大小(入流量+出流量)/1024
.........
2014-06-20  23：30：00-23：59：59   流量大小(入流量+出流量)/1024
就是把對(duì)應(yīng)的時(shí)間范圍打印出來(lái)，謝謝!

zerostudy

以下我做的是苦力活，肯定可以有簡(jiǎn)單的方法。有空再看看。

樓主你自己對(duì)一下結(jié)果，看對(duì)不對(duì)。

另外要注意的：hour=0;min=11 是有要求的，表示你的文件的第一行的小時(shí)與分鐘的值。

1. 
   
2. BEGIN{FS="|";all=0;hour=0;min=11;}
   
3. {
   
4. split($1,sj," |:");
   
5. if(hour-sj[2]==0)
   
6. {
   
7.   if (sj[3]<30)
   
8.         {
   
9.                 if(min>30)
   
10.                         {
    
11.                                 print sj[1] " "hour":30-"hour":59 流量大小："all/1024;
    
12.                                 all=0;
    
13.                         }
    
14.                 all+=$NF+$(NF-1);
    
15.         } else {
    
16.                 if (min < 30)
    
17.                         {
    
18.                                 print sj[1] " "hour":00-"hour":29 流量大�。�"all/1024;
    
19.                                 all=0;
    
20.                         }
    
21.                 all+=$NF+$(NF-1);
    
22. 
    
23.         }
    
24. }else{
    
25.         if (min < 30)
    
26.                 {
    
27.                         print sj[1] " "hour":00-"hour":29 流量大小："all/1024;
    
28.                         all=0;
    
29.                 }else{
    
30.                         print sj[1] " "hour":30-"hour":59 流量大�。�"all/1024;
    
31.                         all=0;
    
32.                 }
    
33. 
    
34. }
    
35. hour=sj[2];
    
36. min=sj[3];
    
37. rq=sj[1];
    
38. 
    
39. }
    
40. 
    
41. END{
    
42.         if (min < 30)
    
43.                 {
    
44.                         print rq " "hour":00-"hour":29 流量大小："all/1024;
    
45.                         all=0;
    
46.                 }else{
    
47.                         print rq " "hour":30-"hour":59 流量大�。�"all/1024;
    
48.                         all=0;
    
49.                 }
    
50. }

復(fù)制代碼

結(jié)果如下：

1. [root@localhost awk]# awk -f my.awk access.log.txt
   
2. 2014-06-17 00:00-00:29 流量大小：1109.18
   
3. 2014-06-17 06:30-06:59 流量大�。�288.408
   
4. 2014-06-17 07:00-07:29 流量大�。�593.815
   
5. 2014-06-17 07:30-07:59 流量大�。�3164.55
   
6. 2014-06-17 08:00-08:29 流量大�。�100530
   
7. 2014-06-17 08:30-08:59 流量大�。�196155
   
8. 2014-06-17 09:00-09:29 流量大小：929.029
   
9. 2014-06-17 09:30-09:59 流量大�。�1137.03
   
10. 2014-06-17 10:00-10:29 流量大�。�3062.69
    
11. 2014-06-17 10:30-10:59 流量大小：4095.42
    
12. 2014-06-17 11:00-11:29 流量大小：3578.38
    
13. 2014-06-17 11:30-11:59 流量大小：4338.1
    
14. 2014-06-17 12:00-12:29 流量大小：1795.5
    
15. 2014-06-17 12:30-12:59 流量大小：13716.2
    
16. 2014-06-17 13:00-13:29 流量大�。�4060.81
    
17. 2014-06-17 13:30-13:59 流量大�。�7169.07
    
18. 2014-06-17 14:00-14:29 流量大�。�8107.75
    
19. 2014-06-17 14:30-14:59 流量大小：3082.75
    
20. 2014-06-17 15:00-15:29 流量大小：6076.31
    
21. 2014-06-17 15:30-15:59 流量大�。�8196
    
22. 2014-06-17 16:00-16:29 流量大小：2572.39
    
23. 2014-06-17 16:30-16:59 流量大小：10273.1
    
24. 2014-06-17 17:00-17:29 流量大�。�11470.6
    
25. 2014-06-17 17:30-17:59 流量大�。�1522.69
    
26. 2014-06-17 18:00-18:29 流量大�。�5076.8
    
27. 2014-06-17 18:30-18:59 流量大�。�5536.2
    
28. 2014-06-17 19:00-19:29 流量大�。�3216.41
    
29. 2014-06-17 19:30-19:59 流量大�。�8687.79
    
30. 2014-06-17 20:00-20:29 流量大小：5130.82
    
31. 2014-06-17 20:30-20:59 流量大�。�2171.14
    
32. 2014-06-17 21:00-21:29 流量大�。�2022.52
    
33. 2014-06-17 21:30-21:59 流量大�。�4327.62
    
34. 2014-06-17 22:00-22:29 流量大小：497.061

復(fù)制代碼

關(guān)陰月飛

dabing12130 發(fā)表于 2014-06-21 11:25
一天分割成48個(gè)單位，統(tǒng)計(jì)30分鐘內(nèi)流量大小，

第二列就是時(shí)間段順序呀：
按你說(shuō)的這種得到的：

日志中的時(shí)間格式如下所示

1.       00：00：00-----00：29：59
...
48.     23:30:00------23:59:59   

關(guān)陰月飛

回復(fù) 4# dabing12130


    按照你的格式改了一下：

1. awk -F\| '{split($1,a,":| ");n=a[3]<30?a[2]":00-"a[2]":29":a[2]":30-"a[2]":59";b[a[1]" "n]+=($7+$8)}END{for(i in b)print i,b[i]/1024 |"sort -k2n"}' access.log.txt

復(fù)制代碼

1. 
   
2. [root@ awktest]# awk -F\| '{split($1,a,":| ");n=a[3]<30?a[2]":00-"a[2]":29":a[2]":30-"a[2]":59";b[a[1]" "n]+=($7+$8)}END{for(i in b)print i,b[i]/1024|"sort -k2n"}' access.log.txt
   
3. 2014-06-17 00:00-00:29 1109.18
   
4. 2014-06-17 06:30-06:59 289.758
   
5. 2014-06-17 07:00-07:29 595.163
   
6. 2014-06-17 07:30-07:59 3164.55
   
7. 2014-06-17 08:00-08:29 100532
   
8. 2014-06-17 08:30-08:59 196155
   
9. 2014-06-17 09:00-09:29 981.336
   
10. 2014-06-17 09:30-09:59 1137.03
    
11. 2014-06-17 10:00-10:29 3128.68
    
12. 2014-06-17 10:30-10:59 4095.42
    
13. 2014-06-17 11:00-11:29 3614.16
    
14. 2014-06-17 11:30-11:59 4338.1
    
15. 2014-06-17 12:00-12:29 1819.92
    
16. 2014-06-17 12:30-12:59 13716.2
    
17. 2014-06-17 13:00-13:29 4108.91
    
18. 2014-06-17 13:30-13:59 7169.07
    
19. 2014-06-17 14:00-14:29 8109.01
    
20. 2014-06-17 14:30-14:59 3082.75
    
21. 2014-06-17 15:00-15:29 6076.31
    
22. 2014-06-17 15:30-15:59 8196
    
23. 2014-06-17 16:00-16:29 2629.54
    
24. 2014-06-17 16:30-16:59 10273.1
    
25. 2014-06-17 17:00-17:29 11528.1
    
26. 2014-06-17 17:30-17:59 1522.69
    
27. 2014-06-17 18:00-18:29 5115.04
    
28. 2014-06-17 18:30-18:59 5536.2
    
29. 2014-06-17 19:00-19:29 3217.77
    
30. 2014-06-17 19:30-19:59 8687.79
    
31. 2014-06-17 20:00-20:29 5167.65
    
32. 2014-06-17 20:30-20:59 2171.14
    
33. 2014-06-17 21:00-21:29 2065.05
    
34. 2014-06-17 21:30-21:59 4327.62
    
35. 2014-06-17 22:00-22:29 547.884
    
36. 2014-06-17 22:30-22:59 2057.86

復(fù)制代碼

dabing12130

感謝兩位大大，都可以拿到的結(jié)果，文件比較大的話(huà)，我估計(jì)效率不太高，我現(xiàn)在log大小大概在300多M，感覺(jué)就要幾十秒。

zerostudy

回復(fù) 7# 關(guān)陰月飛


    學(xué)習(xí)了。

關(guān)陰月飛

回復(fù) 8# dabing12130


    日志文件做好切割，就能防止文件過(guò)大......