刪除文本中的重復(fù)行的問(wèn)題

novemberrain

一個(gè)文本處理問(wèn)題:
有如下文本

aaaa
bbbb
cccc
cccc
dddd
aaaa
bbbb
cccc

想去掉重復(fù)行,即:不管是相鄰的或不相鄰的重復(fù)行,均保留第一次出現(xiàn)的行,其后的重復(fù)行刪除,
變成如下結(jié)果:

aaaa
bbbb
cccc
dddd

實(shí)在是沒(méi)思路，各位達(dá)人幫幫忙！

jinl

awk '!a[$0]++' ufile

楓影誰(shuí)用了

sort后再u(mài)niq一下。

[huangzhibin@localhost ~]$ cat test |sort |uniq
aaaa
bbbb
cccc
dddd

[ 本帖最后由 楓影誰(shuí)用了 于 2008-6-17 10:15 編輯 ]

zhaopingzi

1. 
   
2. sort -u urfile
   

復(fù)制代碼

Shell_HAT

刪除重復(fù)行，并保持非重復(fù)行的原有順序。

1. awk '!($0 in a){a[$0];print}' urfile

復(fù)制代碼

1. sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P' urfile

復(fù)制代碼

luyi1983

原帖由 jinl 于 2008-6-17 10:13 發(fā)表
awk '!a[$0]++' ufile

這個(gè)方法被評(píng)為最省資源的。
以前討論過(guò)。

lemboyz

原帖由 jinl 于 2008-6-17 10:13 發(fā)表
awk '!a[$0]++' ufile

高手能解釋一下嗎？謝謝。

novemberrain

謝謝各位！
還得好好學(xué)習(xí)一下!
忘了說(shuō)，我想要的就是保持順序不變！

cjaizss

1. 
   
2. awk 'f[$0]!=1{print;f[$0]=1}'
   

復(fù)制代碼

ThomasLiu83

原帖由 cjaizss 于 2008-6-17 11:19 發(fā)表

awk 'f[$0]!=1{print;f[$0]=1}'

和

awk '!a[$0]++' utfile

是幾乎一致的意思吧...？