這樣的需求是否合適使用集群完成

goodman

某單位要建數據處理平臺。數據量目前估算為3-4T（全量），每天還要從其他系統(tǒng)取得20G的增量數據。
數據處理有時間窗口要求。
方案一是采用20臺PCServer實現集群。目前有兩個問題，一是關于共享存儲的問題，因為業(yè)務數據無法嚴格的切分到20臺PC上，而且業(yè)務邏輯也有互相交叉的，但是如果使用共享存儲，則投資比較高。目前無法實現跨機的數據交換（還是通過網絡，比較慢）。問題二，是20臺機器如何保證高可用性的問題，因為盡管不是交易平臺，但是也有時間窗口的限制，而多機運行的穩(wěn)定性和安全性不能得到保證的問題。也曾經想過要兩兩做HA，但是仍然感覺可靠性不高。
方案二是采用兩臺P690做HA，但是投資比較高，超出預算了，如果配置低的話，根據目前的估算很難按時完成處理要求。
請各位幫助出出主義，是否有其他的解決方案？

nntp

hello goodman,

1. 3-4T的總量的規(guī)模，不算大的。我看你們的規(guī)劃方向和規(guī)劃尺度都有了比較大的偏差.

2. 先忘掉那20臺服務器的事情，那個方向是錯誤的.

3. 規(guī)劃應該先定節(jié)點，后定存儲. 先把應用的拓撲搞出來再說吧，看你的描述好想規(guī)劃人員對整體的應用狀況概念很模糊的樣子.

4. 3-4T的應用規(guī)模，用不到690.  現在市面上競爭激烈，技術層出不窮，一個中等的小SAN系統(tǒng)，就對付得了了.

5. 有一點要清楚，集群技術是一種妥協(xié)的技術，因為我們無法在一個很高的可用性的要求下，使用單一的設備完成計算，所以“不得已“才會去考慮集群。
所以規(guī)劃系統(tǒng)的時候，能夠用一臺設備加上完備的冗余部件和軟件上的充分保護，就不要用2臺。能夠用2臺設備做集群的，就不要擴展到3臺以上，這個是一個原則。
原因很簡單，增加一個設備節(jié)點，整體可靠性，軟件管理性，實時控制和把握，容災和災難后恢復的復雜性和代價都非常大.

那些已經采用多節(jié)點集群來保護業(yè)務可用性的企業(yè)和用戶，并非是努力要去那樣做，而是單一系統(tǒng)上的設計保護已經無法滿足他們的業(yè)務可用性要求才妥協(xié)成那樣的.


因為現在你的項目需求和調研還沒有做到位，所以我無法給你太多有價值的建議。就簡單說一下業(yè)務系統(tǒng)的選擇.

有充沛的資金完全不等于能夠作出一套正常工作，沒有太多后患的系統(tǒng)。我看到的 用戶中的“大戶“搞砸掉大項目的反面例子多的很。

依照目前的趨勢來看，我覺得對于絕大多數數據庫驅動或3層(含應用服務器)的常規(guī)業(yè)務.(指非科學計算，研究，國防等) 采用AMD64結構的設備會給你帶來非常明顯的優(yōu)勢.

如果真的有錢，可以考慮購買 AMD64 Opteron 4 way dual core的系統(tǒng)，相比Intel 的EM64T dual core，對于常規(guī)業(yè)務，特別是數據庫和java 應用服務器驅動的業(yè)務性能表現上要好很多.

使用p690之類的，也純粹是玩笑話，買的起機器不代表這個客戶可以忍受專有平臺上長年的軟件費用和服務費用，以及快速折舊的硬件設備投資.

我做過一個大家都知道的保險公司的項目,  3臺 AMD64 Opteron 4 way DC, 每臺 32GB memory,后面做了一個中型的SAN,(其實很小).  3點集群跑Linux, 就可以撐起來中國沿海發(fā)達城市的保險業(yè)務了，數據量比3-4T大得多的多。用戶還是很滿意的，這樣的投資性價比，非常理想. 3臺這樣的設備加SAN和1臺p690+軟件+服務。不能比的.

僅供參考.

[ 本帖最后由 nntp 于 2006-3-19 07:03 編輯 ]

shimu

1.用20臺服務器，必須能保證你的應用能夠很好的分攤，否則不可能應用。
2.p690的價格和一般的p系列服務器價格不可以比的，考慮到性價比可以用sun的啊。。
3.SAN價格是趨勢，不管前臺怎么做，都推薦。。

super939

哇,這么多東西

goodman

感謝nntp和shimu給予的答復!
你們的答復使我明白,應該先分析當前的具體應用,再去考慮如何的規(guī)劃!

ljc6386613

哇!!.nntp太強了。。不能說學到了，應該是了解了不少東西。。。

期待goodman的規(guī)劃 。。

hibody

說的太到位了。頂。學習中。

[ 本帖最后由 hibody 于 2006-5-21 05:50 編輯 ]

sunmoonsea

版主的經驗和思路的確是非常值得我們學習的

xintao800

我有一個不錯的方按和大家分享。樓主可以用光纖柜（解決存儲共享問題）+雙機集群軟件（實現24*7小時不停機）+f5(負載均衡）=問題就解決了。如果考慮光纖柜價格較高，可以考慮 用SATA硬盤的，容量既擴大了，有節(jié)省了費用。我大概算了一下：光纖柜+雙機集群軟件+f5(負載均衡=三十幾萬，還是蠻合適的，光纖柜的配置你看看附件。

[ 本帖最后由 xintao800 于 2006-6-1 18:09 編輯 ]

gl00ad

push up, someone interested?