急，有詳細(xì)的說明，2個(gè)文本求和及合并的shell問題

wzl189189

假如有個(gè)學(xué)生表  第一列是學(xué)號(hào)  第二列是選課的名稱  第三列是考試的分?jǐn)?shù)
a.txt

11111        tom        30
11111        tom        80
22222        jerry        33
22222        jerry        57
33333     jerry        22

下面這個(gè)是  第一列是學(xué)號(hào)  第二列是選課的名稱  第三列是考試的總分
b.txt
11111        tom        100       
22222        jerry        100
33333         jerry        100
44444        merry        100


    由于數(shù)據(jù)量比較大所以希望的結(jié)果如下
結(jié)果一： 根據(jù)上面的a.txt 和b.txt 列出每個(gè)學(xué)生的最后加和，如果不在a.txt中就是0
11111        tom        100        110
22222        jerry        100        90
33333        jerry        100        22
44444        merry        100        0
結(jié)果二： 在結(jié)果1的基礎(chǔ)上找出考試加和大于總分的行。
11111        tom        100        110
結(jié)果三： 在結(jié)果1中找出 加和與總分小于等于10的行
22222        jerry        100        90

這個(gè)shell可以合并寫，也可以分開單獨(dú)分別寫 ，因?yàn)閿?shù)據(jù)量大，所以shell的效率要高

q1208c

樓主的需求其實(shí)很簡(jiǎn)單, 把學(xué)生的成績(jī)插入數(shù)據(jù)庫(kù), 然后, 你想要什么結(jié)果, 基本上是分分鐘的事.

yestreenstars

1. $ awk -vOFS='\t' '{t=$1"\t"$2}NR==FNR{a[t]+=$3;next}{b[t]+=$3}END{for(i in b)printf "%s\t%d\t%d\n",i,b[i],a[i];print "";for(i in a)if(a[i]>b[i])print i,b[i],a[i];print "";for(i in b)if((b[i]-a[i]>=0)&&(b[i]-a[i]<=10))printf "%s\t%d\t%d\n",i,b[i],a[i]}' a.txt b.txt
   
2. 33333   jerry   100     22
   
3. 44444   merry   100     0
   
4. 22222   jerry   100     90
   
5. 11111   tom     100     110
   
6. 
   
7. 11111   tom     100     110
   
8. 
   
9. 22222   jerry   100     90

復(fù)制代碼

Herowinter

回復(fù) 2# q1208c
其實(shí)我也覺得是數(shù)據(jù)庫(kù)該管的事，
除非樓主有什么特別的原因。

   

rulebook

結(jié)果1

1. awk 'NR==FNR{a[$1" "$2]=$3;next}{b[$1" "$2]=b[$1" "$2]?b[$1" "$2]+$3:$3}END{for(i in a){s=b[i]?b[i]:0;print i" 100 "s}}' b.txt a.txt

復(fù)制代碼

結(jié)果2

1. awk 'NR==FNR{a[$1" "$2]=$3;next}{b[$1" "$2]=b[$1" "$2]?b[$1" "$2]+$3:$3}END{for(i in a){s=b[i]?b[i]:0;print i" 100 "s}}' b.txt a.txt | awk '$4>100'

復(fù)制代碼

結(jié)果3

1. awk 'NR==FNR{a[$1" "$2]=$3;next}{b[$1" "$2]=b[$1" "$2]?b[$1" "$2]+$3:$3}END{for(i in a){s=b[i]?b[i]:0;print i" 100 "s}}' b.txt a.txt | awk '$4<=100&&$4>=90'

復(fù)制代碼

wzl189189

謝謝大家的提醒，但是我這里因?yàn)槌杀镜仍�因，只能用shell分析

wzl189189

數(shù)據(jù)量比較大，每天可能有幾千萬或上億條數(shù)據(jù)進(jìn)行分析，所以定下來用shell了

wzl189189

回復(fù) 3# yestreenstars

謝謝啊，這個(gè)太精煉了,還沒有看懂，我這個(gè)例子是用 '\t‘ 做分隔符的，你這個(gè)能不能對(duì)不通過的結(jié)果 拆成不同的shell 啊?

   

q1208c

回復(fù) 7# wzl189189

這個(gè)級(jí)別的數(shù)據(jù)量, 必須是數(shù)據(jù)庫(kù).

shell 處理, 如果中間出錯(cuò), 你查都沒的查. 只能重頭來過.

我不是太明白, 數(shù)據(jù)庫(kù)要什么成本?
mysql 收你錢了?
   

wzl189189

回復(fù) 5# rulebook

謝謝啊，不過有點(diǎn)問題，就是
01.awk 'NR==FNR{a[$1" "$2]=$3;next}{b[$1" "$2]=b[$1" "$2]?b[$1" "$2]+$33}END{for(i in a){s=b?b:0;print i" 100 "s}}' b.txt a.txt


    1、   print i" 100 "s   這個(gè)你是固定，不是取b.txt中的第三列的值，第三例的值會(huì)變化的  
   2、  結(jié)果的字段能否用'\t'  既制表符。