亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標(biāo)題: for循環(huán)效率怎樣提升 [打印本頁]

作者: yiguihuo    時(shí)間: 2018-03-20 14:32
標(biāo)題: for循環(huán)效率怎樣提升
樓主需求很簡單,一個(gè)10億行的文本文件,每行格式都一樣。目的是要把每一行內(nèi)容處理一下格式在加工一下重定向到一個(gè)新文件。

for i in `cat $1`
  do
     k1=`echo $i|awk -F ":" '{print $1}'`
     k2=`echo $i|awk -F ":" '{print $2}'`
     echo $k1@@$k2 >> $1.txt
done
先寫一個(gè)簡單的測試看看速度怎樣,結(jié)果1秒才處理幾百條,即使把文件分割了,多跑幾個(gè)程序這速度也沒法接受呀,想看看慢在哪里。

for i in `cat $1`
  do
     echo @ >> $1.txt
done
想想是不是每次都寫入文件造成的速度問題呢,先去掉變量賦值,直接打印個(gè)字符看看速度怎樣,結(jié)果速度1秒5w。

for i in `cat $1`
  do
     k1=$i
     echo $k1 >> 1.txt
done
現(xiàn)不處理變量,賦值并打印出來,結(jié)果1秒3w

for i in `cat $1`
  do
     k1=`echo $ip`
     echo $k1 >> 1.txt
done
這里我只是換了一個(gè)變量賦值的方法,并且還沒有做awk的出來,結(jié)果速度就下降到了1秒2000條,很不理解這里是因?yàn)閌`調(diào)用了新的shell執(zhí)行命令造成的嗎。現(xiàn)在還沒想到awk用什么別的方法處理變量。大家有時(shí)間的看看,有什么好的方法解決。





作者: jason680    時(shí)間: 2018-03-20 14:59
回復(fù) 1# yiguihuo

try below or tell us what you want ...

$ cat FILE
a:b
c:d

$ bash aa.sh FILE

$ cat FILE.txt
a@@b
c@@d

$ cat aa.sh
awk -F: '{print $1"@@"$2}' $1 >> $1.txt


作者: chengchow    時(shí)間: 2018-03-20 15:02
本帖最后由 chengchow 于 2018-03-20 15:05 編輯

sed -r 's/:/@@/g' file
作者: wh7211    時(shí)間: 2018-03-20 16:12
回復(fù) 1# yiguihuo


采用awk這種行處理工具才能提高效率,參考2樓答案。
作者: yiguihuo    時(shí)間: 2018-03-20 16:20
謝謝兩位的解答,為什么要用for循環(huán),主要是想后期處理在添加內(nèi)容方便些。處理的文件用處是向elasticsearch導(dǎo)入。
a:b
c:d
處理后的內(nèi)容是下面這樣
{"index":{"_index":"kt","_type":"list"}}
{"k_1":"a","k_2":"b"}
{"index":{"_index":"kt","_type":"list"}}
{"k_1":"c","k_2":"d"}
作者: yiguihuo    時(shí)間: 2018-03-20 17:21
謝謝上面幾位兄弟的提醒,awk還是很強(qiáng)大的
awk -F ":" '{print "{\"index\":{\"_index\":\"kt\",\"_type\":\"list\"}}""\n""{\"k_1\":\""  $1"\",\"k_2\":\""$2"\"}"}'  kt-00
作者: blackold    時(shí)間: 2018-03-21 09:04
這樣寫不慢都不行。
作者: 本友會(huì)機(jī)友會(huì)攝友會(huì)    時(shí)間: 2018-03-22 02:02
提示: 作者被禁止或刪除 內(nèi)容自動(dòng)屏蔽
作者: chengchow    時(shí)間: 2018-03-22 10:47
閑著無聊做了下測試,1000W行,目測sed效率要高1倍
  1. [root@AnsibleTower_120 tmp]# time awk -F: '{print $1"@@"$2}' 1.txt > 2.txt

  2. real        0m11.645s
  3. user        0m9.281s
  4. sys        0m0.558s
  5. [root@AnsibleTower_120 tmp]# time awk -F: '{print $1"@@"$2}' 1.txt > 2.txt

  6. real        0m12.431s
  7. user        0m9.326s
  8. sys        0m0.372s
  9. [root@AnsibleTower_120 tmp]# time sed -r 's/:/@@/g' 1.txt > 2.txt

  10. real        0m5.580s
  11. user        0m5.025s
  12. sys        0m0.331s
  13. [root@AnsibleTower_120 tmp]# time sed -r 's/:/@@/g' 1.txt > 2.txt

  14. real        0m6.859s
  15. user        0m4.910s
  16. sys        0m0.385s
復(fù)制代碼

作者: 本友會(huì)機(jī)友會(huì)攝友會(huì)    時(shí)間: 2018-03-23 00:23
提示: 作者被禁止或刪除 內(nèi)容自動(dòng)屏蔽




歡迎光臨 Chinaunix (http://72891.cn/) Powered by Discuz! X3.2