for循環(huán)效率怎樣提升

yiguihuo

樓主需求很簡(jiǎn)單，一個(gè)10億行的文本文件，每行格式都一樣。目的是要把每一行內(nèi)容處理一下格式在加工一下重定向到一個(gè)新文件。

for i in `cat $1`
  do
     k1=`echo $i|awk -F ":" '{print $1}'`
     k2=`echo $i|awk -F ":" '{print $2}'`
     echo $k1@@$k2 >> $1.txt
done
先寫(xiě)一個(gè)簡(jiǎn)單的測(cè)試看看速度怎樣，結(jié)果1秒才處理幾百條，即使把文件分割了，多跑幾個(gè)程序這速度也沒(méi)法接受呀，想看看慢在哪里。

for i in `cat $1`
  do
     echo @ >> $1.txt
done
想想是不是每次都寫(xiě)入文件造成的速度問(wèn)題呢，先去掉變量賦值，直接打印個(gè)字符看看速度怎樣，結(jié)果速度1秒5w。

for i in `cat $1`
  do
     k1=$i
     echo $k1 >> 1.txt
done
現(xiàn)不處理變量，賦值并打印出來(lái)，結(jié)果1秒3w

for i in `cat $1`
  do
     k1=`echo $ip`
     echo $k1 >> 1.txt
done
這里我只是換了一個(gè)變量賦值的方法，并且還沒(méi)有做awk的出來(lái)，結(jié)果速度就下降到了1秒2000條，很不理解這里是因?yàn)閌`調(diào)用了新的shell執(zhí)行命令造成的嗎。現(xiàn)在還沒(méi)想到awk用什么別的方法處理變量。大家有時(shí)間的看看，有什么好的方法解決。

jason680

回復(fù) 1# yiguihuo

try below or tell us what you want ...

$ cat FILE
a:b
c:d

$ bash aa.sh FILE

$ cat FILE.txt
a@@b
c@@d

$ cat aa.sh
awk -F: '{print $1"@@"$2}' $1 >> $1.txt

chengchow

sed -r 's/:/@@/g' file

wh7211

回復(fù) 1# yiguihuo


采用awk這種行處理工具才能提高效率，參考2樓答案。

yiguihuo

謝謝兩位的解答，為什么要用for循環(huán)，主要是想后期處理在添加內(nèi)容方便些。處理的文件用處是向elasticsearch導(dǎo)入。
a:b
c:d
處理后的內(nèi)容是下面這樣
{"index":{"_index":"kt","_type":"list"}}
{"k_1":"a","k_2":"b"}
{"index":{"_index":"kt","_type":"list"}}
{"k_1":"c","k_2":"d"}

yiguihuo

謝謝上面幾位兄弟的提醒，awk還是很強(qiáng)大的
awk -F ":" '{print "{\"index\":{\"_index\":\"kt\",\"_type\":\"list\"}}""\n""{\"k_1\":\""  $1"\",\"k_2\":\""$2"\"}"}'  kt-00

blackold

這樣寫(xiě)不慢都不行。

chengchow

閑著無(wú)聊做了下測(cè)試，1000W行，目測(cè)sed效率要高1倍

1. [root@AnsibleTower_120 tmp]# time awk -F: '{print $1"@@"$2}' 1.txt > 2.txt
   
2. 
   
3. real        0m11.645s
   
4. user        0m9.281s
   
5. sys        0m0.558s
   
6. [root@AnsibleTower_120 tmp]# time awk -F: '{print $1"@@"$2}' 1.txt > 2.txt
   
7. 
   
8. real        0m12.431s
   
9. user        0m9.326s
   
10. sys        0m0.372s
    
11. [root@AnsibleTower_120 tmp]# time sed -r 's/:/@@/g' 1.txt > 2.txt
    
12. 
    
13. real        0m5.580s
    
14. user        0m5.025s
    
15. sys        0m0.331s
    
16. [root@AnsibleTower_120 tmp]# time sed -r 's/:/@@/g' 1.txt > 2.txt
    
17. 
    
18. real        0m6.859s
    
19. user        0m4.910s
    
20. sys        0m0.385s
    

復(fù)制代碼