動(dòng)態(tài)虛擬主機(jī)根據(jù)域名分隔日志腳本

信天翁

為大容量動(dòng)態(tài)虛擬主機(jī)解決日志按域名分隔問題自己寫了這個(gè)腳本

#!/bin/sh #動(dòng)態(tài)虛擬主機(jī)按域名分割日志 20090717 logPath="/var/log/httpd" logPostfixName="_access_log" if [ "$1" != "" ] then     logPath=$1 fi if [ "$2" != "" ] then     logPostfixName=$2 fi while read line do     domain=$(echo $line|cut -d' ' -f1)     logFile="${logPath}/${domain}${logPostfixName}"     code=$(echo $line|cut -d' ' -f10)     #如果不是404錯(cuò)誤 或者 目標(biāo)日志已經(jīng)存在    if [ "$code" != "404" -o -s "$logFile" ]      then          echo $line|cut -d' ' -f2- >>$logFile      fi done

腳本保存到 /etc/httpd/vlog.sh
修改apache配置
UseCanonicalName Off
<VirtualHost *>
    VirtualDocumentRoot /home//%0/public_html
    LogFormat "%V %h %l %u %t \"%r\" %s %b" vcommon
   CustomLog "|/etc/httpd/vlog.sh /var/log/httpd _access_log" vcommon
</VirtualHost>

在CentoOS 5 apache2.2 上測試通過，
用Bash些的腳本擔(dān)心效率問題，各位如有更好的解決方法請留言，謝謝

[ 本帖最后由 信天翁 于 2009-7-18 22:43 編輯 ]

信天翁

研究了一下bash shell，對腳本做了一下優(yōu)化，使用bash內(nèi)置字符串函數(shù)替換外置命令，性能提高三倍

1. 
   
2. #!/bin/sh
   
3. 
   
4. #動(dòng)態(tài)虛擬主機(jī)按域名分割日志
   
5. #20090726 by xiao
   
6. 
   
7. logPath=${1:-/var/log/httpd}
   
8. logPostfixName=${2:-_access_log}
   
9. 
   
10. while read line
    
11. do
    
12.     domain=${line%% *} #完整域名,部分域名用domain=${line%%.*}  
    
13.     logFile="${logPath}/${domain}${logPostfixName}"
    
14.     code=${line% *}
    
15.     code=${code##* }
    
16.     lline=${line#* }
    
17. 
    
18.     #如果不是404錯(cuò)誤 或者 目標(biāo)日志已經(jīng)存在
    
19.     if [ "$code" != "404" ] || [ -s "$logFile" ]
    
20.     then
    
21.         echo $lline >> $logFile
    
22.     fi
    
23. done
    
24. 
    

復(fù)制代碼

gucuiwen

實(shí)時(shí)處理的性能是很低的，對于高負(fù)載的服務(wù)器性能影響比較大，我們一般是先記錄在一起，每天自動(dòng)切割后，對已經(jīng)切割保留好的日志再做分揀。

只用一條命令：

awk '{print $0>$1}' access_log

HonestQiao

不錯(cuò)。

不過apache自己有split-logfile，或者可以用cronolog

一刀砍死

是啊~ 為何不單獨(dú)為每個(gè)虛擬主機(jī)配置自己的日志呢？

信天翁

原帖由 HonestQiao 于 2009-7-27 14:15 發(fā)表
不錯(cuò)。

不過apache自己有split-logfile，或者可以用cronolog

我用的CentOS 5.3 系統(tǒng)里沒有split-logfile，
另外cronolog只能按當(dāng)前日期處理日志，它不分析日志內(nèi)容

剛下了apache 2.2 的源碼包，make了一下找到了split-logfile，原來是個(gè)perl腳本,去掉注釋后代碼如下

1. 
   
2. #!/usr/bin/perl
   
3. %is_open = ();
   
4. 
   
5. while ($log_line = <STDIN>) {
   
6.     ($vhost) = split (/\s/, $log_line);
   
7.     $vhost = lc ($vhost) or "access";
   
8.     if ($vhost =~ m#[/\\]#) { $vhost = "access" }
   
9.     if (! $is_open{$vhost}) {
   
10.         open $vhost, ">>${vhost}.log"
    
11.             or die ("Can't open ${vhost}.log");
    
12.         $is_open{$vhost} = 1;
    
13.     }
    
14.     $log_line =~ s/^\S*\s+//;
    
15.     printf $vhost "%s", $log_line;
    
16. }
    
17. exit 0;
    

復(fù)制代碼

基本和我的腳本類似，不知道我上面的bash腳本和這個(gè)perl腳本那個(gè)更快一些，于是做了一下測試
測試腳本test.sh

1. 
   
2. #!/bin/sh
   
3. s='xxx.yyy.ccc 192.168.200.21 - - [20/Jul/2009:13:55:50 +0800] "GET / HTTP/1.1" 200 51707'
   
4. ii=0
   
5. while [ "$ii" -lt 1000 ]
   
6. do
   
7.   echo $s|$1
   
8.   ((ii++))
   
9. done
   

復(fù)制代碼

將三個(gè)腳本放到同一目錄下

[root@test test]# time ./test.sh ./split-logfile

real    0m3.759s
user    0m1.489s
sys     0m2.293s

[root@test test]# time ./test.sh ./vlog.sh

real    0m2.515s
user    0m0.782s
sys     0m1.764s

竟然是bash腳本更快一些

信天翁

原帖由 gucuiwen 于 2009-7-27 12:11 發(fā)表
實(shí)時(shí)處理的性能是很低的，對于高負(fù)載的服務(wù)器性能影響比較大，我們一般是先記錄在一起，每天自動(dòng)切割后，對已經(jīng)切割保留好的日志再做分揀。

只用一條命令：

awk '{print $0>$1}' access_log

這樣日志會很大吧，高負(fù)載的服務(wù)器一天怕得產(chǎn)生十幾個(gè)G的日志，擔(dān)心集中處理的速度

信天翁

原帖由 一刀砍死 于 2009-7-27 16:04 發(fā)表
是啊~ 為何不單獨(dú)為每個(gè)虛擬主機(jī)配置自己的日志呢？

有數(shù)百上千個(gè)虛擬主機(jī)，每個(gè)都寫配置文件多累啊

myhstone_cu

我使用了 LogFormat "%V %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" vcombined 這樣的格式，那腳本要怎么改一下呢？