求助�。〔锁B求幫助！

1234zhuxu

現(xiàn)在小弟有這樣一個需求，要把一個文件夾（/root/dns_log）下的文件數(shù)據(jù)統(tǒng)一格式，以方便導(dǎo)入到數(shù)據(jù)庫中。
文件有好多個，文件如dns2011071303.log
單個文件處理寫了個awk的，不會寫，瞎寫的
awk '{print substr($1,33,3), substr($1,41)" "substr($2,1,length($2)-4),split($6,D,"#"),D[1],split(D[1],ip,"."),ip[1],ip[2],ip[3],ip[4],substr(D[2],1,length(D[2]-1)),$8,$10,$11,$12,$13}' dns2011071003.log | awk '{print $1,$2,$3,$5,$7,$8,$9,$10,$11,$12,$13,$14,$15,$16}' >tianjin

我現(xiàn)在想寫一個腳本，把文件夾下的log文件名傳給這個awk，無奈，真的不會寫��！
請高手幫助！

linux_kim

沒明白 你要做什么？

1. awk '{print FILENAME}' | uniq | /root/dns_log/*.log

復(fù)制代碼

??

既然soso

不太理解你要做什么，但是寫了一個類似的例子給你參考。

#!/bin/sh

path="/root/dns_log"
outpath="tianjin"

logs=`ls $path`

for a in $logs
do
gawk -F '['  '{print $2}' $a >>outpath

done

1234zhuxu

回復(fù) 2# linux_kim


    我想做的是把這個文件夾下的n多日志文件經(jīng)過腳本處理放到一個或幾個文件中去，不知道我這么說明不明白？

rdcwayx

請給出原始文件例子和要求的輸出。

ly5066113

回復(fù) 1# 1234zhuxu


try:

1. awk '{split($6,D,"#");split(D[1],ip,".");print substr($1,33,3),substr($1,41)" "substr($2,1,length($2)-4),D[1],ip[1],ip[2],ip[3],ip[4],substr(D[2],1,length(D[2]-1)),$8,$10,$11,$12,$13}' /root/dns_log/*.log > tianjin

復(fù)制代碼

1234zhuxu

源文件是這樣的
/data/namedqlog/aiquery_192.168.4.6.log:10-Jul-2011 03:00:00.006 aiqueries: info: client 117.136.1.254#4076: aiquery: m.hotmail.com IN A + 0 1
/data/namedqlog/aiquery_192.168.4.6.log:10-Jul-2011 03:00:00.006 aiqueries: info: client 117.136.1.105#63085: aiquery: api.weibo.cn IN A + 0 1
/data/namedqlog/aiquery_192.168.4.6.log:10-Jul-2011 03:00:00.006 aiqueries: info: client 117.136.1.101#31783: aiquery: www.google.com IN A + 0 0
/data/namedqlog/aiquery_192.168.4.6.log:10-Jul-2011 03:00:00.008 aiqueries: info: client 221.178.209.156#48676: aiquery: stat.sd.# IN A + 0 0

然后我想得到是這樣的

4.6 10-Jul-2011 03:00:00 117.136.1.254 117 136 1 254 4076 m.hotmail.com A + 0 1
4.6 10-Jul-2011 03:00:00 117.136.1.105 117 136 1 105 63085 api.weibo.cn A + 0 1
4.6 10-Jul-2011 03:00:00 117.136.1.101 117 136 1 101 31783 www.google.com A + 0 0
4.6 10-Jul-2011 03:00:00 221.178.209.156 221 178 209 156 48676 stat.sd.# A + 0 0

1234zhuxu

現(xiàn)在就是這個日志文件是按小時上傳到服務(wù)器的，我需要把每個文件中的數(shù)據(jù)格式化成數(shù)據(jù)庫中需要的數(shù)據(jù)，
所以想寫個shell讓他自動完成

yinyuemi

1. 
   
2. sed -r 's/^[^.]+\.[^.]+\.//;s/\./ /2;s/log://;s/\.[^ ]+ aiqueries: info: client / /;s/([0-9]+)\.([0-9]+)\.([0-9]+)\.([0-9]+)/& \1 \2 \3 \4/;s/#/ /;s/: aiquery://;s/ IN//' file
   

復(fù)制代碼

rdcwayx

awk 自帶 FILENAME 變量

1. awk '{split(FILENAME,a,"."); print a[3]"."a[4], $1, $2, $6,$8,$10,$11,$12}' *.log

復(fù)制代碼