處理文本命令優(yōu)化

mafeifan

文本內(nèi)容：baike.txt

1. <REC>
   
2. <ID>=1
   
3. <TITLE>=百度百科
   
4. <CATEGORY>=百度，百度百科，網(wǎng)絡(luò)，百科全書，百科詞典
   
5. <RETITLE>=百度知道;貼吧;百度空間;百度地圖;百度新聞搜索;百度圖片;百度mp3;百度Hi;百度工具欄;百度影視;百度郵編搜索;百度黃頁搜索;百度殺毒;百度語音搜索;科利爾百科全書;蘇聯(lián)大百科全書;匯吃百科;維基百科;百度視頻;百度蜘蛛;百度文庫;互動(dòng)百科;百度文檔;百度文化共享搜索;百度盲道;百度會(huì)員;百度搜藏;百度TV;百科全書;知識(shí)掌門人;百度游戲;百度有啊;張震;科友;
   
6. <URL>=http://baike.baidu.com/view/1.htm
   
7. 
   
8. <REC>
   
9. <ID>=2
   
10. <TITLE>=詞條
    
11. <CATEGORY>=百度，百度百科
    
12. <RETITLE>=相關(guān)詞條;
    
13. <URL>=http://baike.baidu.com/view/2.htm
    
14. 
    
15. <REC>
    
16. <ID>=3
    
17. <TITLE>=編輯實(shí)驗(yàn)
    
18. <CATEGORY>=百度，百度百科，幫助，詞條，編輯
    
19. <RETITLE>=詞條;百度;
    
20. <URL>=http://baike.baidu.com/view/3.htm
    
21. 
    
22. <REC>
    
23. <ID>=4
    
24. <TITLE>=饅頭
    
25. <CATEGORY>=食品，飲食，面食，食譜，蒸饃
    
26. <RETITLE>=大餅;油條;面包;餃子;花卷;包子;麻花;食品;主食;糯米飯;蛋糕;鮮肉包;米粥;面條;涼拌菜;年糕;餅干;窩頭;粽子;烤餅;酥餅;湯圓;燒餅;
    
27. <URL>=http://baike.baidu.com/view/4.htm

復(fù)制代碼

要求保留包含ID 、 Title 、 Category的行，并且顯示在一行
結(jié)果類似

1. 
   
2. 1@百度百科@百度，百度百科，網(wǎng)絡(luò)，百科全書，百科詞典
   
3. 2@詞條@百度，百度百科
   
4. 3@編輯實(shí)驗(yàn)@百度，百度百科，幫助，詞條，編輯
   
5. 4@饅頭@食品，飲食，面食，食譜，蒸饃
   
6. 5@雁蕩山@地理，旅游，旅游景點(diǎn)，自然景觀，地質(zhì)公園
   

復(fù)制代碼

我的做法
先提取再合并

1. grep '<TITLE>=' baike.txt | tr -d "<TITLE>=" > title.txt
   
2. grep '<CATEGORY>=' baike.txt | tr -d "<CATEGORY>=" > category.txt
   
3. paste -d@ title.txt  category.txt > finish.txt

復(fù)制代碼

現(xiàn)在問題命令中有很多重復(fù)的內(nèi)容 如title category 想用變量代替
比如把<TITLE>=，<CATEGORY>=放到一個(gè)數(shù)組中，用循環(huán)
寫成個(gè)sh
請問怎么優(yōu)化

wang390750

1. awk -vRS="<REC>" -F "[\n=]+" -vOFS="@" 'NR>1{print $3,$5"\n"OFS$7}'

復(fù)制代碼

mafeifan

回復(fù) 2# wang390750


    看不懂 能否解釋一下 怎么傳入 baike.txt

這個(gè)冬天不冷

1. # awk -F= '/<TITLE>/{t="@"$NF}/<CATEGORY>/{print ++i t"@"$NF}' i
   
2. 1@百度百科@百度，百度百科，網(wǎng)絡(luò)，百科全書，百科詞典
   
3. 2@詞條@百度，百度百科
   
4. 3@編輯實(shí)驗(yàn)@百度，百度百科，幫助，詞條，編輯
   
5. 4@饅頭@食品，飲食，面食，食譜，蒸饃
   
6. cat i
   
7. <REC>
   
8. <ID>=1
   
9. <TITLE>=百度百科
   
10. <CATEGORY>=百度，百度百科，網(wǎng)絡(luò)，百科全書，百科詞典
    
11. <RETITLE>=百度知道;貼吧;百度空間;百度地圖;百度新聞搜索;百度圖片;百度mp3;百度Hi;百度工具欄;百度影視;百度郵編搜索;百度黃頁搜索;百度殺毒;百度語音搜索;科利爾百科全書;蘇聯(lián)大百科全書;匯吃百科;維基百科;百度視頻;百度蜘蛛;百度文庫;互動(dòng)百科;百度文檔;百度文化共享搜索;百度盲道;百度會(huì)員;百度搜藏;百度TV;百科全書;知識(shí)掌門人;百度游戲;百度有啊;張震;科友;
    
12. <URL>=http://baike.baidu.com/view/1.htm
    
13. 
    
14. <REC>
    
15. <ID>=2
    
16. <TITLE>=詞條
    
17. <CATEGORY>=百度，百度百科
    
18. <RETITLE>=相關(guān)詞條;
    
19. <URL>=http://baike.baidu.com/view/2.htm
    
20. 
    
21. <REC>
    
22. <ID>=3
    
23. <TITLE>=編輯實(shí)驗(yàn)
    
24. <CATEGORY>=百度，百度百科，幫助，詞條，編輯
    
25. <RETITLE>=詞條;百度;
    
26. <URL>=http://baike.baidu.com/view/3.htm
    
27. 
    
28. <REC>
    
29. <ID>=4
    
30. <TITLE>=饅頭
    
31. <CATEGORY>=食品，飲食，面食，食譜，蒸饃
    
32. <RETITLE>=大餅;油條;面包;餃子;花卷;包子;麻花;食品;主食;糯米飯;蛋糕;鮮肉包;米粥;面條;涼拌菜;年糕;餅干;窩頭;粽子;烤餅;酥餅;湯圓;燒餅;
    
33. <URL>=http://baike.baidu.com/view/4.htm
    
34. [root@xinfuka ~]#
    

復(fù)制代碼

yestreenstars

1. awk -F '[=\n]+' -vRS='<REC>' -vOFS='@' 'NR>1{print $3,$5,$7}' baike.txt

復(fù)制代碼

rulebook

1. awk -F"=" '$1~/<REC>/{s="";k=0}$1~/<ID>|<TITLE>|<CATEGORY>/{s=s?s"@"$2:$2;k++;if(k==3){print s}}' o

復(fù)制代碼

jason680

回復(fù) 1# mafeifan

$ awk -F= -vOFS="@" '/<ID>/{id=$2}/<TITLE>/{ti=$2}/<CATEGORY>/{print id,ti,$2;id=ti=""}' baike.txt
1@百度百科@百度，百度百科，網(wǎng)絡(luò)，百科全書，百科詞典
2@詞條@百度，百度百科
3@編輯實(shí)驗(yàn)@百度，百度百科，幫助，詞條，編輯
4@饅頭@食品，飲食，面食，食譜，蒸饃

   

mafeifan

謝謝 awk確實(shí)很強(qiáng)大 學(xué)習(xí)了

mafeifan

回復(fù) 7# jason680

怎么每個(gè)ID占一行，結(jié)果是：

1. 1
   
2. @百度百科
   
3. @百度，百度百科，網(wǎng)絡(luò)，百科全書，百科詞典
   
4. 
   
5. 2
   
6. @詞條
   
7. @百度，百度百科
   
8. 
   
9. 3
   
10. @編輯實(shí)驗(yàn)
    
11. @百度，百度百科，幫助，詞條，編輯
    
12. 
    
13. 4
    
14. @饅頭
    
15. @食品，飲食，面食，食譜，蒸饃
    
16. 
    
17. 6
    
18. @雁蕩山
    
19. @地理，旅游，旅游景點(diǎn)，自然景觀，地質(zhì)公園
    
20. 
    
21. 7
    
22. @靈峰
    
23. @風(fēng)景，雁蕩山，地理，旅游，溫州
    
24. 
    
25. 8
    
26. @大龍湫
    
27. @雁蕩山，地理，文言文，風(fēng)景旅游，中國浙江
    
28. 
    
29. 9
    
30. @五大夫松
    
31. @風(fēng)景，旅游，歷史，國寶，古樹名木
    
32. 
    
33. 10
    
34. @紅色食品
    
35. @食療，健康，食品，科學(xué)，飲食
    
36. 
    
37. 11
    
38. @飴糖
    
39. @食品，中藥，烹飪，糖類，農(nóng)產(chǎn)品
    

復(fù)制代碼

jason680

回復(fù) 9# mafeifan

1. change OFS
$ awk -F= -vOFS="\n@" '/<ID>/{id=$2}/<TITLE>/{ti=$2}/<CATEGORY>/{print id,ti,$2"\n";id=ti=""}' baike.txt

2. print it directly
$ awk -F= '/<ID>/{print $2}/<TITLE>/{print "@"$2}/<CATEGORY>/{print "@"$2"\n"}' baike.txt