大神幫助看一下理論上哪個效率能稍高一些？謝謝

bmne

只是把文檔去重，效率排前面（臨時制定一個標(biāo)準(zhǔn)：處理1GB以下的文檔使用）。（除去sort -u不在討論范圍中）

1、awk 'a[$0]; END{for (i in a){print i}}'

2、perl -ane 'print if(++$a{$_}==1)'

3、awk '!a[$0]++'

4、sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'    （雖最后一行產(chǎn)生空格，但，還是把它排上吧）


上面是我實戰(zhàn)中摸索的效率從高到低的排序。但，實戰(zhàn)中有時候表現(xiàn)也不穩(wěn)定。處理1GB文檔時，表現(xiàn)不是特別明顯


請大神指點



另外，誠懇求助大神來一個效率比上面稍高一點的代碼


辛苦了



忘說了，如果低于1GB，最好800M以下。下面這個排在第一位

1. cat<<EOF>aa.py
   
2. import time
   
3. print(time.strftime('readfile %H:%M:%S'))
   
4. raw_lines = file('8.txt').readlines()
   
5. print(time.strftime('procdata %H:%M:%S'))
   
6. un_keys = set()
   
7. unlines = []
   
8. for l in raw_lines:
   
9.     if l in un_keys:
   
10.         continue
    
11.     un_keys.add(l)
    
12.     unlines.append(l)
    
13. print(time.strftime('writefile %H:%M:%S'))
    
14. file('8.txt.out','w').writelines(unlines)
    
15. EOF
    
16. python aa.py

復(fù)制代碼

yinyuemi

回復(fù) 1# bmne


    perl -ne 'print if !$a{$_}++' 把-a選項去掉

bmne

回復(fù) 2# yinyuemi


謝謝大神回復(fù)

看的真仔細(xì)


我操作時提示，Binary file a.txt matches    所以，我加上了-a。上面我忘了去掉了，不好意思


等會我試試你的去。辛苦






   

Windows19

你要多快��？孩紙

bmne

回復(fù) 4# Windows19



大神來了。謝謝


你給排排序看看，理論上哪個應(yīng)該稍快一些？





   

liion631818

回復(fù) 1# bmne
文件太大，試試先把文件拆分，分別去重，然后兩兩合并去除，直到最后一個。

   

bmne

回復(fù) 6# liion631818


謝謝大神回復(fù)