關(guān)于文件對比的效率問題

fttskyblue

RT，假設(shè)有兩個文件A和B，都有好幾千條數(shù)據(jù)，且每條數(shù)據(jù)的長度是固定的N。
有一個模板tmplate，定義了每條數(shù)據(jù)的第幾個字段的起始字符位置以及長度，類似這種格式：
2   3   5
表示第2個字段是從第3個字符開始的5個字符。
在文件A和B中，第一個字段是關(guān)鍵字，假設(shè)A里面的第一個字段值為MF，那就需要到B中找到第一個字段為MF的記錄，然后根據(jù)模板對字段的定義依次對比該記錄的每個字段。

我之前的做法是先用讀取A里面的一條記錄grep找到B里面的記錄，然后先整行對比A和B里面的記錄，如果不同的話再按照template定義的逐字段對比。
代碼如下：
while read source_rec
do
     dest_rec=`grep ${source_rec:0:2} fileB`  
     if [ "$source_rec" != "$dest_rec" ]
     then
     i=1
     while read tmp
     do
     field_name[$i]=`echo $tmp|awk '{print $2}'`
     field_loc[$i]=`echo $tmp|awk '{print $3}'`
     start_p[$i]=`echo $tmp|awk '{print $4}'`
     field_len[$i]=`echo $tmp|awk '{print $5}'`
     source_rec_value="${source_rec((${start_p[$i]}-1)){field_len[$i]}}"
     dest_rec_value="${dest_rec((${start_p[$i]}-1)){field_len[$i]}}"  
        if [ "$source_rec_value" != "$dest_rec_value" ]
        then
        echo -e "Filename $filename:\t$rec_type record ${field_name[$i]} value for ric $ric_value differs. \
        source value is "$source_rec_value";\tdest value is "$dest_rec_value >>Log
        fi
     let i+=1
     done<template
     fi
done <fileA

不過發(fā)現(xiàn)這種方法在數(shù)據(jù)量大的時候效率顯得相當(dāng)?shù)拖拢�不知道怎樣能讓對比更加高效�?br /> awk里面可以用FIELDWIDTHS = "2 5 10 6 7 7 35" 這種方式把記錄行一次分割成獨立的字段，還沒去實現(xiàn)，我想可能比之前的方法要好一些。
請高手指點。

fttskyblue

快來人啊，別沉了。

liaosnet

無數(shù)據(jù),無真像...

fttskyblue

沒人能給個建議嗎？

blackold

搞不懂LZ要干嗎？

舉個例子吧，ls已經(jīng)給建議了。

皇家救星

a b 模板文件同時讀　邊讀邊處理

這樣效率比你的高很多

awk支持用getline < "file"讀取多個文件

springwind426

用純shell腳本處理，效率是很低的