請教版主和大蝦們:如何犧牲最小性能從大日志中抓取部分日志

榮磊

具體環(huán)境:
      OS: Linux 7.3 或AS 3     日志大小:>;= 1G
需求分析:
      由一后臺進(jìn)程7*24小時不間斷往log里寫日志,機(jī)器本身還要接受用戶連接
所以服務(wù)器負(fù)載很大,舉個例子,8:30發(fā)現(xiàn)服務(wù)器收到攻擊,需要截取從8:00-現(xiàn)在的所以日志拷到其它機(jī)器分析,如果日志小很簡單,問題是服務(wù)器本身負(fù)載就不小,日志再超過1G以后用grep等其它命令可能會使服務(wù)器down掉
問題:   
      用什么命令或方法可以從一個大日志文件中取得部分時間的日志,并且不會占用系統(tǒng)太多的IO和CPU資源,我們的日志少說也有800到1000萬行.用普通方法肯定不行(日志中有關(guān)于時間的字段)

Please instruct me .

bingosek

你可以另外配置一臺日志主機(jī)；
在寫日志時將日志按條件分類；
編輯/etc/logrotate.conf,用size限制日志文件大小

榮磊

謝謝,可能我沒太說清楚,我們要分析的是被攻擊時的日志,平時的日志是不需要分析的,簡單的說就是從一個大日志中把幾點到幾點的日志拷成另一個文件

archangle

能不能先切成小塊,然后分別操作.或者用sed來操作呢

archangle

我現(xiàn)在的日志是統(tǒng)一存到日志服務(wù)器的機(jī)器的mysql數(shù)據(jù)庫里面,可以非常方便的查找日志.

mocou

syslog本身能定義多久回滾啊
如果想用時間查找，可以用find+mtime

flw

先拷貝出來，再切割吧。

怕冷的貓

需要的時候運(yùn)行l(wèi)ogrotate -f file.conf就可以了吧。

file.conf是你的目的服務(wù)的logrotate配置文件。

榮磊

大家都發(fā)表一下意見,有什么好方法,你們提的見意都很好,我試試可行不
其實到不難,主要是用普通方法太占用資源了,所有想請教大家有沒有變通一些的方法

怕冷的貓

只是用logrotate來輪換你有問題的服務(wù)的日志，這個會重新啟動你的服務(wù)。