求教，刪除單行中重復(fù)字符

ppp_qqq

a.txt文件只有一行連續(xù)字符（約五十萬個(gè)漢字），如“你好嗎我很好”，想去除其中重復(fù)字符，拆成“你，好，嗎，我，很”。
因?yàn)橹虚g沒有分隔符，似乎不能用awk -F參數(shù)，用split -b 2 a.txt可以拆分成文件，但幾十萬個(gè)文件似乎也不易處理，該怎么操作呢？

ly5066113

try:

1. sed -e :a -e 's/\(..\)\(.*\)\1/\1\2/;ta' urfile

復(fù)制代碼

yinyuemi

try:

awk 'BEGIN{FS=""} {for (i=1;i<=NF;i++){print $i}}' file |sort |uniq|tr "\n" ","

L_kernel

a.txt文件只有一行連續(xù)字符（約五十萬個(gè)漢字），如“你好嗎我很好”，想去除其中重復(fù)字符，拆成“你，好，嗎 ...
ppp_qqq 發(fā)表于 2011-01-10 15:16

1. $ awk 'BEGIN{FS=""}{for(i=1;i<=NF;i++)a[$i]}END{for(i in a)print i}' a.txt

復(fù)制代碼

1. $ awk 'BEGIN{FS="";ORS=","}{for(i=1;i<=NF;i++)a[$i]}END{for(i in a)print i}' a.txt

復(fù)制代碼

cjaizss

建議還是用awk吧,效率高很多,sed實(shí)現(xiàn)這樣的功能用regex不斷匹配,太慢了

ppp_qqq

嗯，明白了，原來FS可以用""表示空，測(cè)試文件執(zhí)行正常，回頭我跑下大文件。謝謝幾位。