awk 實(shí)現(xiàn) grep -A3 -B3 的效果，文本10G行

blackold

回復(fù) 10# unixzhong

1. awk -f grepC.awk urfile

復(fù)制代碼

grepC.awk

1. {
   
2.     if (/B/) {
   
3.         if (!f) {
   
4.             if (p) {
   
5.                 if ( mN && NR - lpN > 3) print "--";
   
6.                 print p;
   
7.                 p = "";
   
8.             }
   
9.             f = !f;
   
10.         }
    
11.         mN = NR;
    
12.         print;
    
13.         lpN = NR;
    
14.     } else if (f) {
    
15.         if (NR-mN > 3) {
    
16.             f = !f;
    
17.             if (gsub(/\n/,"\n",p) > 1) sub(/[^\n]*\n/,"",p);
    
18.             p = p?p"\n"$0:$0;
    
19.         } else {
    
20.             print;
    
21.             lpN = NR;
    
22.         }
    
23.     } else {
    
24.         if (gsub(/\n/,"\n",p) > 1) sub(/[^\n]*\n/,"",p);
    
25.         p = p?p"\n"$0:$0;
    
26.     }
    
27. }

復(fù)制代碼

yinyuemi

回復(fù)  blackold

黑哥：

我的代碼已經(jīng)可以處理 重疊的情況了，就是想看看有沒有其他 思路，當(dāng)然我希望 ...
unixzhong 發(fā)表于 2011-03-23 15:39

1. awk '{a[++p]=$0}
   
2. 
   
3. /B/{p>f+3;print "-----"
   
4. 
   
5.         f=p;
   
6. 
   
7.         for(i=p-3;i<=p;i++)
   
8. 
   
9.                 if((!(i in b))&&a[i]){print a[i];b[i]}
   
10. 
    
11.     }
    
12. 
    
13. NR==f+3&&f{
    
14. 
    
15.         for(k=NR-2;k<=NR;k++)
    
16. 
    
17.                 if((!(k in b))&&a[k]){print a[k];b[k]}
    
18. 
    
19.              }'

復(fù)制代碼

這個(gè)應(yīng)該會(huì)快點(diǎn)

blackold

剛才做了測試，grep快很多，有時(shí)間可以看看grep的源碼。

yinyuemi

剛才做了測試，grep快很多，有時(shí)間可以看看grep的源碼。
blackold 發(fā)表于 2011-03-24 10:07

    恩，我也測試了，
seq 1000000 |awk 'END{print}'
和
seq 1000000 | grep -A3 -B3 -w 5000
用的時(shí)間幾乎一樣

unixzhong

回復(fù) 11# blackold


    快速掃描了下黑哥代碼，發(fā)現(xiàn)的確沒有用 a[NR]=$0
心里肯定了， 有不那么耗費(fèi)內(nèi)存的方式。
（  我一樓代碼里面  那種方式吃太多內(nèi)存 ----------------數(shù)組保存所有行）

再看了下 黑哥代碼，自己功力太淺，看的有點(diǎn)頭暈，因?yàn)闆]有 了解 黑哥的思路。

就暫時(shí)不敢回貼了。

后來就放一邊了， 看其他awk代碼去了，嘿嘿，從 tail -n 2 的awk實(shí)現(xiàn)例子里，得到了一點(diǎn)啟發(fā)。

于是 有了下面的  我的新實(shí)現(xiàn)了 （只需要一個(gè) 小 數(shù)組 臨時(shí) 保存 當(dāng)前行 和 它的前3行即可  ）

經(jīng)過驗(yàn)證，才敢貼上來

man find | awk -f mygrep_atime_nodebug.awk  > mygrep_output

man find |  grep -A3 -B3  atime  > grep_output

diff mygrep_output  grep_output 沒輸出 ：）

1. BEGIN { Last_Range_End=0; Range_End=0;  for(i=0;i<=3;i++)keep[i]="" }
   
2. 
   
3. 
   
4. {for(j=3;j>0;j--)keep[j]=keep[j-1];  keep[0]=$0}
   
5. NR<=Range_End { print $0 }
   
6. 
   
7. 
   
8. 
   
9. /atime/{ Last_Range_End=Range_End; Range_End= NR + 3;
   
10. 
    
11.                 if (  Last_Range_End < NR )
    
12.                          {
    
13.                         non_intersect_lines=(4 - (NR - Last_Range_End) )>0? (NR - Last_Range_End) :4 ;
    
14.                         if(non_intersect_lines==4) print "--" ;  
    
15.                         for(i=non_intersect_lines-1;i>=0;i--) print keep[i]
    
16.                         }
    
17.           }
    

復(fù)制代碼

回家

unixzhong

回復(fù) 14# yinyuemi


    謝謝  yinyuemi  一直以來的 熱心探討

     第一次知道 有 seq這個(gè)命令，

     能 就 如何 測量  腳本效率， 簡單地 說說嗎？ 我還從來沒 這樣的經(jīng)歷， 多謝了。

yinyuemi

回復(fù) 16# unixzhong


  這個(gè).... , 還是高手解答吧, 時(shí)間應(yīng)該算個(gè)很直觀的標(biāo)準(zhǔn)!

blackold

回復(fù) 15# unixzhong


    你用經(jīng)典的數(shù)據(jù)來測試, 就發(fā)現(xiàn)和grep的輸出有差別了。

南極雨

回復(fù) 5# yinyuemi

經(jīng)！��！

MeaCulpa

既然是Awk就可以用Awk way, 扔給awk自己處理不知道會(huì)不會(huì)快一些:

1. 
   
2. awk 'BEGIN{FS="\n"; RS=EOF} {代碼}'
   

復(fù)制代碼