高手幫忙：如何合并文本中相臨的相同行（包括續(xù)行）

sunkey

            

比如文本是一個非常大的文本，里面有很多完全一樣的行，包括＂＼＂的續(xù)行
如：

　I love shell = I love UC
　I love shell = I love UC
　I love shell = I love UC
   Pig is flying in the sky \
   and I am looking \
   at it
   Pig is flying in the sky \
   and I am looking \
   at it

   希望處理之后的結果是這樣的：
　I love shell = I love UC (m=3)
   Pig is flying in the sky \
   and I am looking \
   at it (m=2)

請大家?guī)兔τ茫悖螅瑁澹欤欤珹WK，SED．．．anything of Linux
實現(xiàn)此功能～～～ 謝謝

                
　

sunkey

沒人頂啊....自己頂一個先

james_dlc

原帖由 "sunkey" 發(fā)表：
            

比如文本是一個非常大的文本，里面有很多完全一樣的行，包括＂＼＂的續(xù)行
如：

　I love shell = I love UC
　I love shell = I love UC
　I l..........

nawk '{str=$0;while($0　like /\/$/){getline;str=str "〇"  $0}a[str]++}END{for(x in a){i=1;split(x,b,"〇";while(i<a[x])print b[i++];printf("%s (m=%d)\n",b,a[x])}}  infile


我的是日文鍵盤裝了中文系統(tǒng)那個 波浪 的符號打不出來用 like 替代的

寂寞烈火

看不明白,幫你丁頁

sunkey

原帖由 "james_dlc" 發(fā)表：
nfile


我的是日文鍵盤裝了中文系統(tǒng)那個 波浪 的符號打不出來用 like 替代的

景仰一下～～～～　     

　　
能不能解釋一下程序的執(zhí)行？？另外,如果有空白行,那么這個程序也會把空白
的重復給算進去了...

james_dlc

原帖由 "sunkey" 發(fā)表：

　　
能不能解釋一下程序的執(zhí)行？？另外,如果有空白行,那么這個程序也會把空白
的重復給算進去了...

上次寫的太繁瑣了，另外對于空行的問題
修改了一下

nawk '$0{str=$0;while($0～/\/$/){getline;str=str "\n" $0}a[str]++}END{for(x in a)print x,"(m=" a[x] ""} infile

yangkundai

我也看不明白,幫你頂.

sunkey

[quote]原帖由 "james_dlc"]infile[/quote 發(fā)表：




  實際上可能這樣還是有問題的, 你把所有的LINE都存到數(shù)組里面,

如果是一個非常大(比如上百M)的文本而言,可能會有問題(雖然我沒有試驗)

而且效率可能不太好...

另外,如果存在換行的話呢??

james_dlc

原帖由 "sunkey" 發(fā)表：




  實際上可能這樣還是有問題的, 你把所有的LINE都存到數(shù)組里面,

如果是一個非常大(比如上百M)的文本而言,可能會有問題(雖然我沒有試驗)

而且效率可能不太好...

另外,如果存在換行的話呢??

關于效率問題我認為在內存里處理數(shù)據(jù)是最快的，而且unix系統(tǒng)內存大都在1GB
以上，而且還可以使用磁盤緩存的。并且如是100M的文件平均相同行數(shù)為4的話
內存利用小于30M
如是個人電腦的話，相信你沒有那么大的數(shù)據(jù)量。明天我找個2GB的文件試一下再給你答案。

另外,如果存在換行的話 ----不明白？如何樣式的換行？不是以 \　為結尾的？還請明示。

james_dlc

在單位試了一下，內存是32GB 用了個1。8GB的文件測試
自然們沒問題，文件太大的話硬盤空間有問題，所以暫時無法回答你，抱歉