如何去掉重復(fù)的字符串

zs0723

一個(gè)具有幾百萬行URL字符串的文件，如果去掉里面重復(fù)的URL？

not_halt

菜單 -> 編輯 -> 代替
輸入 URL
回車
OK

antigloss

1. 
   
2. #include <iostream>
   
3. #include <fstream>
   
4. #include <set>
   
5. #include <string>
   
6. #include <iterator>
   
7. #include <algorithm>
   
8. 
   
9. using namespace std;
   
10. 
    
11. int main()
    
12. {
    
13.     string      line;
    
14.     set<string> uniq_set;
    
15.     ifstream    infile("pathname");
    
16. 
    
17.     istream_iterator<string> inbeg(infile), inend;
    
18.     copy( inbeg, inend, inserter(uniq_set, uniq_set.begin()) );
    
19.    
    
20.     infile.close();
    
21.     ofstream outfile("pathname");
    
22.    
    
23.     copy( uniq_set.begin(), uniq_set.end(), ostream_iterator<string>(outfile, "\n") );
    
24. }
    

復(fù)制代碼

[ 本帖最后由 antigloss 于 2007-9-19 21:39 編輯 ]

wucailiuxing

uniq -u

zs0723

幾百萬行的概念： 5*1000*1000*128

ivhb

unix下，
sort -u

aero

對(duì)每個(gè)URL串進(jìn)行搜索？沒想到更好的辦法。

zs0723

文件中每一行為一個(gè)URL，將文件中重復(fù)的URL去掉

iceviewer

原帖由 ivhb 于 2007-9-19 22:06 發(fā)表
unix下，
sort -u

嗬嗬，c 的話，可以參考 sort 的src實(shí)現(xiàn)。

紫星河

這樣行嗎：
建一棵樹（二叉樹，b樹...），把文件中的url讀取后存入樹中（重復(fù)的當(dāng)然就不用再寫入了），讀完后重寫文件，至于效率我就不清楚了...