【討論】數(shù)據(jù)庫(kù)設(shè)計(jì)

hbxfsz18

有這樣一個(gè)需求：

數(shù)據(jù)庫(kù)中有一個(gè)日志表，需要定時(shí)清理距當(dāng)前時(shí)間48個(gè)小時(shí)之前（即距今2天整）的數(shù)據(jù)，但是日志表會(huì)不停的有記錄的查，改，增。

現(xiàn)在需要一個(gè)既能清理過(guò)期數(shù)據(jù)，又能保證在清理時(shí)對(duì)該表的查，改，增沒(méi)有明顯的性能影響的方案，清理的數(shù)據(jù)的時(shí)間點(diǎn)不必非常精確（即可以在表中保存超過(guò)48個(gè)小時(shí)的記錄，如距今54個(gè)小時(shí)的記錄）。

目前考慮了一個(gè)方案：

在每天日志表訪問(wèn)量較低時(shí)，例如凌晨2,3點(diǎn)做表清理，這時(shí)日志表訪問(wèn)量小，清理不會(huì)對(duì)日志表造成明顯的性能影響（另可以加入清理速度控制，進(jìn)一步減小對(duì)性能影響）


各位有沒(méi)有更好的方案？

Shaquile

用分區(qū)表試試，比如：在log表中，根據(jù)range（“日”）, 建立16個(gè)分區(qū),每個(gè)分區(qū)中含有2天的數(shù)據(jù)

wiliiwin

清理工作都會(huì)在沒(méi)有多少人操作的時(shí)候弄的吧 沒(méi)有人瘋了 在高峰的時(shí)候去搞清理 那不是sb 就是腦子進(jìn)水了

jeppeter

回復(fù) 1# hbxfsz18


    可以參考 《High Performance Mysql 》中關(guān)于這個(gè)問(wèn)題的講法，就是使用

1. DELETE FROM messages WHERE created < DATE_SUB(NOW( ),INTERVAL 3 MONTH);

復(fù)制代碼

的變種

1. rows_affected = 0
   
2. do {
   
3. rows_affected = do_query(
   
4. "DELETE FROM messages WHERE created < DATE_SUB(NOW( ),INTERVAL 3 MONTH)
   
5. LIMIT 10000")
   
6. } while rows_affected > 0

復(fù)制代碼

虛偽的華麗

可以參考一下《零基礎(chǔ)實(shí)戰(zhàn)Mysql數(shù)據(jù)庫(kù)應(yīng)用開(kāi)發(fā)》這套教程里面的技術(shù)點(diǎn)。
1、下載
2、下載
3、下載

weishuo1999

我就想問(wèn)，日志干嘛用mysql來(lái)存放

G8bao7

既然是清理過(guò)期數(shù)據(jù)，不需要太高的實(shí)時(shí)性，還是放在凌晨或其他負(fù)載小的時(shí)候進(jìn)行比較好

清理步驟，分批次處理(每批刪除N行記錄),假設(shè)ID為自增主鍵且隨時(shí)間單調(diào)遞增
1、select max(ID) from tb where datetime<=48小時(shí),得到48小時(shí)之前的主鍵ID
2、select id from tb where id< maxID limit N,1，得到刪除的最小主鍵ID
3、delete from tb where id<maxID and id<minID,此時(shí)可以判斷下當(dāng)前時(shí)間是否繼續(xù)下一循環(huán)(直接進(jìn)行第二步驟，重復(fù)進(jìn)行)