如何實現(xiàn)計算文本行數(shù)最快

不能超過15字

計算距離上次分析，增加了多少文本�，F(xiàn)在的做法是，計算當前的總行數(shù)，減去上次分析的記錄數(shù)。
目前慢在，計算當前文本記錄數(shù)上。
如果大嬸有其他處理增量文件的方法，請不吝賜教。
回復 2# jason680


   

q1208c

回復 11# 不能超過15字

計算行數(shù), 目前不知道有比 wc 更快的.

但你的問題卻有解決方案. 而且, 是現(xiàn)成的.

在你每次處理之前, 先 stat 當前的文件, 得到文件的大小.

然后 tail 這個文件.

下次 tail 的時候, 從 上次記錄的大小開始. 不需要計算.
   

Herowinter

回復 12# q1208c

好辦法,贊.

   

q1208c

回復 13# Herowinter

這是四年前我用過的東東了.
   

不能超過15字

這個也不合適，每次開始和結束都有BEGIN-END，我處理的時候下筆交易正好打印到一半，這一半我要留到下次處理，這次不能截取到啊。要不然會漏掉一些交易，無法處理。
回復 12# q1208c


   

bulletmarquis

回復 14# q1208c


    測試了一下，stat里面的size應該是字符數(shù)(包括\n)吧？如何能得到本次修改的行數(shù)呢？

1. cat > abc
   
2. a
   
3. c
   
4. d
   
5. s
   
6. a
   
7. 
   
8. stat abc
   
9.   File: `abc'
   
10.   Size: 10              Blocks: 8          IO Block: 4096   regular file
    
11. Device: 803h/2051d      Inode: 1433635     Links: 1
    
12. Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
    
13. Access: 2014-09-11 15:29:29.000000000 -0400
    
14. Modify: 2014-09-11 15:29:31.000000000 -0400
    
15. Change: 2014-09-11 15:29:31.000000000 -0400
    
16. 
    
17. cat >> abc
    
18. j
    
19. kl
    
20. s
    
21. 
    
22. stat abc
    
23.   File: `abc'
    
24.   Size: 17              Blocks: 8          IO Block: 4096   regular file
    
25. Device: 803h/2051d      Inode: 1433635     Links: 1
    
26. Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
    
27. Access: 2014-09-11 15:29:29.000000000 -0400
    
28. Modify: 2014-09-11 15:30:20.000000000 -0400
    
29. Change: 2014-09-11 15:30:20.000000000 -0400

復制代碼

q1208c

回復 15# 不能超過15字

唉, 真是笨呀.

你不會 back 回 一個記錄 的長度 ?!

我假設你的文件 叫 log1.log

假設你的單條記錄長度約為 100字節(jié).

1. stat log1.log ==> size = 8192

   tail -n+1 log1.log | process

2. stat log1.log ==> size = 16384
   
   tail -c $((8192 - 100)) | process

3. stat log1.log ==> size = 32768
   
   tail -c $((16384 - 100)) | process
4. ... ...




   

q1208c

回復 16# bulletmarquis

行數(shù)的沒有.

tail 支持 用 字節(jié)數(shù)處理. 看我在前面寫的.
   

bulletmarquis

回復 18# q1208c


    看到大神的回復了，只是當單行長度比較大的時候，用tail -c是否會比tail -1000慢呢？

q1208c

回復 19# bulletmarquis

這倆功能不一樣, 無所謂快慢.

一個最后1000行. 一個是從 某個字符開始.

如果我沒有看錯代碼的話, tail -c 要更快.

因為只有一個 lseek 然后, 就是 read write 了

而 tail -1000, 需要一個 lseek 0 2 , 然后再 lseek 最近的4k的地方, 然后讀出4k, 計算行數(shù),
如果不滿足 1000, 再往后4k, 讀出來, 計算行數(shù), 如此, 直到滿足1000這行數(shù), 然后, 開始 read  write .