如何實現(xiàn)計算文本行數(shù)最快

不能超過15字

文件記錄數(shù)1000w行，wc -l 是1s。大嬸們誰有更好的計算文本行數(shù)的方法。perl/python/c 等等，各種語言都可以。

jason680

回復 1# 不能超過15字


http://72891.cn/forum.p ... mp;fromuid=24785593

   

chengchow

不知道你怎么用wc -l的,直接wc -l file絕對用不了1s
gentoo ~ # a=`date +%s`;wc -l 1;b=`date +%s`;echo "$b-$a"|bc
10000000 1
0
gentoo ~ # a=`date +%s`;cat 1 | wc -l;b=`date +%s`;echo "$b-$a"|bc
10000000
1

Herowinter

回復 1# 不能超過15字

計算換行符個數(shù)的都差不多,O(n)的復雜度.
另外和樓主比,發(fā)現(xiàn)我的虛擬機性能弱爆了...

1. time seq 10000000|wc -l
   
2. 10000000
   
3. 
   
4. real    0m5.689s
   
5. user    0m5.604s
   
6. sys     0m0.072s
   
7. 
   
8. time seq 10000000|sed -n '$='
   
9. 10000000
   
10. 
    
11. real    0m6.409s
    
12. user    0m6.270s
    
13. sys     0m0.124s

復制代碼

ly5066113

回復 4# Herowinter


慢在 seq ，而不是 wc
試試：

seq 10000000 > test.txt
time wc -l test.txt

Herowinter

回復 5# ly5066113

恩,多謝多謝,上面的命令還有個管道,肯定慢不少.
這下快多了,根本不需要1秒,wc比sed快不少.
要找一個比wc更高效的,超出個人能力范圍了...

1. time wc -l test.txt
   
2. 10000000 test.txt
   
3. 
   
4. real    0m0.086s
   
5. user    0m0.069s
   
6. sys     0m0.017s
   
7. 
   
8. time sed -n '$=' test.txt
   
9. 10000000
   
10. 
    
11. real    0m0.740s
    
12. user    0m0.719s
    
13. sys     0m0.022s
    
14. 
    
15. time awk 'END{print NR}' test.txt
    
16. 10000000
    
17. 
    
18. real    0m0.547s
    
19. user    0m0.515s
    
20. sys     0m0.020s
    

復制代碼

q1208c

剛剛看了下, wc 其實是 每次讀進來 16k. 然后 計算 回車的數(shù)量.

樓主如果要加快, 可以試著每次讀進來64k或者更長的數(shù)據, 看看會不會快一些.

另外, 樓上的兩位, 那不是wc夠快, 是 seq 出來的 行 不夠長. 只是夠多.

yestreenstars

回復 7# q1208c

I think so.
   

reb00t

求上wc命令的源碼～～

ly5066113

回復 7# q1208c


計算行數(shù)，還有比 wc 更快的命令么？自己重新寫的不算。