awk查重不完美問題疑惑

galford433

寫了個awk查重復(fù)字段的腳本。目的是把兩個文件中共有的字段找出來輸出并且去除重復(fù)。代碼函數(shù)段如下：


find_same()
{
echo "start at `date | awk '{print $5}'`"
echo -n "now rebuilding input files..."
awk '{count[$1]++}END{for(number in count)print number","count[number] }' $file1 | awk -F, '{print $1 > "find-final1.txt"}'
awk '{count[$1]++}END{for(number in count)print number","count[number] }' $file2 | awk -F, '{print $1 > "find-final2.txt"}'
cat find-final1.txt >> find-final2.txt
echo -ne "ok! \n analyze files..."
awk '{count[$1]++}END{for(number in count)print number","count[number] }' find-final2.txt | awk -F, '$2 > 1 {print $1 > "find-same.txt"}'
echo -ne "ok! \n output files..."
sort find-same.txt > same_$file3
echo -e "ok! \n output file is same_$file3"
rm -f find-*.txt
echo "end at `date | awk '{print $5}'`"
read anything
......
}


但是如果文件1的最后一行剛好在文件2里有的話。輸出的結(jié)果卻沒有這一行，代碼實(shí)現(xiàn)肯定沒有問題，但是為什么遇到最后一行匹配時，這行就沒法輸出呢？實(shí)在不解。。

[ 本帖最后由 galford433 于 2007-12-5 17:07 編輯 ]

ly5066113

咋這么復(fù)雜？

1. awk 'NR==FNR{a[$1]++}NR>FNR&&($1 in a)&&!b[$1]++{print $1}' $file1 $file2 > same_$file3

復(fù)制代碼

[ 本帖最后由 ly5066113 于 2007-12-5 17:23 編輯 ]

nuclearxin

awk '!a[$重復(fù)字段]++' file1 file2

galford433

回樓上兩位。前面兩個awk是對源文件自身去重，可以忽略不計(jì)的。紅字那個就是不解的。
如果不用nr和fnr，僅針對紅字那段為什么會出現(xiàn)我說的問題。我關(guān)心的不是代碼，是我這樣用awk數(shù)組值大于1的算法找重復(fù)的為什么無法把文件1最后一行匹配條件的給t出來。。。。

galford433

找到問題了。不是awk的原因。。。。。
文件是從windows下上傳的，文件末尾有個該死的^M。沒用vi看沒發(fā)現(xiàn)。導(dǎo)致awk檢索的時候認(rèn)為aaa！=aaa^M。徹底昏迷ing。。。。