上百萬條數(shù)據(jù)記錄的報表統(tǒng)計問題

lb_20016

經(jīng)過一段時間的漂泊，終于找到了一份穩(wěn)定的維護(hù)工作，現(xiàn)在的單位用的是informix數(shù)據(jù)庫，接觸的時間很短，遇到一個很棘手的問題，不知道各位大蝦們是怎么解決，看看有什么好辦法，先謝拉！
    單位想用asp和BS結(jié)構(gòu)做一個報表統(tǒng)計的程序，本來想用3層結(jié)構(gòu)來做，業(yè)務(wù)處理放服務(wù)器端數(shù)據(jù)庫的存儲過程里面，但這個想法被經(jīng)理推翻了，她說她們以前也是這樣，結(jié)果一運(yùn)行就死機(jī)了，原因很簡單，數(shù)據(jù)量太大了，估計有100萬條，而且還有很多關(guān)聯(lián)的表。
    數(shù)據(jù)庫的狀況是：一個生產(chǎn)用庫，這個是肯定不能動的，另一個是備份庫，每天定時備份，我能操作的就是備份庫。
    以前老員工的辦法就是在本地建庫，然后在備份庫空閑的時候把需要的數(shù)據(jù)提前處理好，也就是說不是等客戶點擊查詢的時候才查，而是先處理好，畢竟報表的格式內(nèi)容相對固定，這樣查的時候就快了，理論是這樣，也沒有人試過，我也只是勉強(qiáng)能理解說的意思。
    不知道大家有什么好的辦法，謝謝！

xxyyy

上百萬的數(shù)據(jù)僅僅是小量數(shù)據(jù)，上千萬甚至上億的數(shù)據(jù)可能才算多。
估計你的數(shù)據(jù)結(jié)構(gòu)設(shè)計或者是程序?qū)懙乃惴ú粔騼?yōu)化，或者表的索引建立的不合理。
或者你的服務(wù)器是奔騰一代100MhzCPU＋16M內(nèi)存+504M的老硬盤？

qinchaojl

是啊,機(jī)器配置應(yīng)該說一下.

lb_20016

機(jī)子的配置是很好的，看了一下，P4的CUP，IBM的服務(wù)器，內(nèi)存1G，硬盤也有幾百G，性能很不錯的。樓上的朋友能不能就數(shù)據(jù)結(jié)構(gòu)設(shè)計或者是程序?qū)懙乃惴ú粔騼?yōu)化，或者表的索引建立的不合理這三方面詳細(xì)介紹一下，我沒有接觸過大型的數(shù)據(jù)庫，最后有例子，我這幾天也一直在看這方面的資料
    而且另一個問題也比較麻煩，怎么用Windows XP下的ASP聯(lián)Unix下的informix數(shù)據(jù)庫，以前都是在2000或XP下操作的，跨平臺的還真沒接觸過。請多多指點。

lb_20016

我現(xiàn)在就要在本地建一個庫，然后通過各種各樣的查詢生成各種報表，那么我這個體系結(jié)構(gòu)應(yīng)該怎么設(shè)計呢，這個大方向我一直還沒有頭緒，哪位有經(jīng)驗的朋友可以指點一下，介紹個可行的解決方案，各種限制條件我都介紹了。

lb_20016

有這方面經(jīng)驗的朋友，如果有時間，也愿意指導(dǎo)一下我這個新手，請留下QQ號，非常感謝
  本人QQ 453844671

ahkai

1、先設(shè)計好報表的展示結(jié)構(gòu)。
2、根據(jù)展示結(jié)構(gòu)，設(shè)計數(shù)據(jù)庫表，讓數(shù)據(jù)庫表的結(jié)構(gòu)盡量與展示報表一致。
3、針對每一個數(shù)據(jù)庫表寫esql程序，從數(shù)據(jù)庫的基礎(chǔ)數(shù)據(jù)表中提取數(shù)據(jù)，并插入。

好處：

1、減少前端查詢使用復(fù)雜的關(guān)聯(lián)語句，可以直接使用select.
2、報表的展示數(shù)據(jù)，實在非業(yè)務(wù)時間生成的，不會有太大性能影響.

缺點：

1、因為要新建數(shù)據(jù)庫表來存儲展示數(shù)據(jù)，所以浪費(fèi)空間。
2、由于展示報表的結(jié)構(gòu)不同，所以對應(yīng)的esql程序可能很多。

lb_20016

ahkai (呵呵)，能否留QQ，耽誤一點你的時間，具體指教一下

lb_20016

看了ahkai 的方法，深受啟發(fā)，非常感謝！
   關(guān)于這個方法，還有幾點疑惑：
   1、比如我要做一個年終的統(tǒng)計，需要用到每天的數(shù)據(jù)，我生成了一個表專門存這里邊的數(shù)據(jù)，那么這個數(shù)據(jù)應(yīng)該是每天等生產(chǎn)數(shù)據(jù)庫空閑，比如凌晨的時候就讀過來，而且是每天都讀的吧？這個esql是不是也要設(shè)置成每天某一時間自動執(zhí)行？
   2、如何監(jiān)控每天的數(shù)據(jù)是否傳回本地，數(shù)據(jù)是否完整？是不是需要把傳送情況寫進(jìn)文本文件每天查看？我只想到這個方法。不知道大家是怎么做的？
   3、還有就是問了一些用了一段時間informix的朋友，他們都說informix在Unix下是沒有圖形操作界面的，都是字符命令的界面，不知道是不是真的？

ahkai

抱歉，我沒有QQ，很落伍哈^-^.

1、每天的抽取程序是定時執(zhí)行的，需要一個crontab定時。原數(shù)據(jù)庫和目標(biāo)庫的數(shù)據(jù)同步應(yīng)該在esql的抽取程序前運(yùn)行。
2、寫在一個crontab shell里，可以保證數(shù)據(jù)庫同步完成后，執(zhí)行報表數(shù)據(jù)抽取。
3、沒有圖形界面。

在報表設(shè)計時，應(yīng)將數(shù)據(jù)庫表設(shè)計成當(dāng)日表和歷史表兩種，每天先將昨天的日表遷移到歷史表里再抽取組合當(dāng)天的數(shù)據(jù)。這樣可以縮小每日報表的處理時間和數(shù)據(jù)庫的同步時間。（只處理和同步當(dāng)天的數(shù)據(jù)）

在前端訪問當(dāng)天的報表時，當(dāng)天的數(shù)據(jù)也會快。

[ 本帖最后由 ahkai 于 2006-4-30 11:16 編輯 ]