這樣的需求是否合適使用集群完成

goodman

某單位要建數(shù)據(jù)處理平臺(tái)。數(shù)據(jù)量目前估算為3-4T（全量），每天還要從其他系統(tǒng)取得20G的增量數(shù)據(jù)。
數(shù)據(jù)處理有時(shí)間窗口要求。
方案一是采用20臺(tái)PCServer實(shí)現(xiàn)集群。目前有兩個(gè)問題，一是關(guān)于共享存儲(chǔ)的問題，因?yàn)闃I(yè)務(wù)數(shù)據(jù)無法嚴(yán)格的切分到20臺(tái)PC上，而且業(yè)務(wù)邏輯也有互相交叉的，但是如果使用共享存儲(chǔ)，則投資比較高。目前無法實(shí)現(xiàn)跨機(jī)的數(shù)據(jù)交換（還是通過網(wǎng)絡(luò)，比較慢）。問題二，是20臺(tái)機(jī)器如何保證高可用性的問題，因?yàn)楸M管不是交易平臺(tái)，但是也有時(shí)間窗口的限制，而多機(jī)運(yùn)行的穩(wěn)定性和安全性不能得到保證的問題。也曾經(jīng)想過要兩兩做HA，但是仍然感覺可靠性不高。
方案二是采用兩臺(tái)P690做HA，但是投資比較高，超出預(yù)算了，如果配置低的話，根據(jù)目前的估算很難按時(shí)完成處理要求。
請(qǐng)各位幫助出出主義，是否有其他的解決方案？

nntp

hello goodman,

1. 3-4T的總量的規(guī)模，不算大的。我看你們的規(guī)劃方向和規(guī)劃尺度都有了比較大的偏差.

2. 先忘掉那20臺(tái)服務(wù)器的事情，那個(gè)方向是錯(cuò)誤的.

3. 規(guī)劃應(yīng)該先定節(jié)點(diǎn)，后定存儲(chǔ). 先把應(yīng)用的拓?fù)涓愠鰜碓僬f吧，看你的描述好想規(guī)劃人員對(duì)整體的應(yīng)用狀況概念很模糊的樣子.

4. 3-4T的應(yīng)用規(guī)模，用不到690.  現(xiàn)在市面上競爭激烈，技術(shù)層出不窮，一個(gè)中等的小SAN系統(tǒng)，就對(duì)付得了了.

5. 有一點(diǎn)要清楚，集群技術(shù)是一種妥協(xié)的技術(shù)，因?yàn)槲覀儫o法在一個(gè)很高的可用性的要求下，使用單一的設(shè)備完成計(jì)算，所以“不得已“才會(huì)去考慮集群。
所以規(guī)劃系統(tǒng)的時(shí)候，能夠用一臺(tái)設(shè)備加上完備的冗余部件和軟件上的充分保護(hù)，就不要用2臺(tái)。能夠用2臺(tái)設(shè)備做集群的，就不要擴(kuò)展到3臺(tái)以上，這個(gè)是一個(gè)原則。
原因很簡單，增加一個(gè)設(shè)備節(jié)點(diǎn)，整體可靠性，軟件管理性，實(shí)時(shí)控制和把握，容災(zāi)和災(zāi)難后恢復(fù)的復(fù)雜性和代價(jià)都非常大.

那些已經(jīng)采用多節(jié)點(diǎn)集群來保護(hù)業(yè)務(wù)可用性的企業(yè)和用戶，并非是努力要去那樣做，而是單一系統(tǒng)上的設(shè)計(jì)保護(hù)已經(jīng)無法滿足他們的業(yè)務(wù)可用性要求才妥協(xié)成那樣的.


因?yàn)楝F(xiàn)在你的項(xiàng)目需求和調(diào)研還沒有做到位，所以我無法給你太多有價(jià)值的建議。就簡單說一下業(yè)務(wù)系統(tǒng)的選擇.

有充沛的資金完全不等于能夠作出一套正常工作，沒有太多后患的系統(tǒng)。我看到的 用戶中的“大戶“搞砸掉大項(xiàng)目的反面例子多的很。

依照目前的趨勢來看，我覺得對(duì)于絕大多數(shù)數(shù)據(jù)庫驅(qū)動(dòng)或3層(含應(yīng)用服務(wù)器)的常規(guī)業(yè)務(wù).(指非科學(xué)計(jì)算，研究，國防等) 采用AMD64結(jié)構(gòu)的設(shè)備會(huì)給你帶來非常明顯的優(yōu)勢.

如果真的有錢，可以考慮購買 AMD64 Opteron 4 way dual core的系統(tǒng)，相比Intel 的EM64T dual core，對(duì)于常規(guī)業(yè)務(wù)，特別是數(shù)據(jù)庫和java 應(yīng)用服務(wù)器驅(qū)動(dòng)的業(yè)務(wù)性能表現(xiàn)上要好很多.

使用p690之類的，也純粹是玩笑話，買的起機(jī)器不代表這個(gè)客戶可以忍受專有平臺(tái)上長年的軟件費(fèi)用和服務(wù)費(fèi)用，以及快速折舊的硬件設(shè)備投資.

我做過一個(gè)大家都知道的保險(xiǎn)公司的項(xiàng)目,  3臺(tái) AMD64 Opteron 4 way DC, 每臺(tái) 32GB memory,后面做了一個(gè)中型的SAN,(其實(shí)很小).  3點(diǎn)集群跑Linux, 就可以撐起來中國沿海發(fā)達(dá)城市的保險(xiǎn)業(yè)務(wù)了，數(shù)據(jù)量比3-4T大得多的多。用戶還是很滿意的，這樣的投資性價(jià)比，非常理想. 3臺(tái)這樣的設(shè)備加SAN和1臺(tái)p690+軟件+服務(wù)。不能比的.

僅供參考.

[ 本帖最后由 nntp 于 2006-3-19 07:03 編輯 ]

shimu

1.用20臺(tái)服務(wù)器，必須能保證你的應(yīng)用能夠很好的分?jǐn)偅�否則不可能應(yīng)用。
2.p690的價(jià)格和一般的p系列服務(wù)器價(jià)格不可以比的，考慮到性價(jià)比可以用sun的啊。。
3.SAN價(jià)格是趨勢，不管前臺(tái)怎么做，都推薦。。

super939

哇,這么多東西

goodman

感謝nntp和shimu給予的答復(fù)!
你們的答復(fù)使我明白,應(yīng)該先分析當(dāng)前的具體應(yīng)用,再去考慮如何的規(guī)劃!

ljc6386613

哇!!.nntp太強(qiáng)了。。不能說學(xué)到了，應(yīng)該是了解了不少東西。。。

期待goodman的規(guī)劃 。。

hibody

說的太到位了。頂。學(xué)習(xí)中。

[ 本帖最后由 hibody 于 2006-5-21 05:50 編輯 ]

sunmoonsea

版主的經(jīng)驗(yàn)和思路的確是非常值得我們學(xué)習(xí)的

xintao800

我有一個(gè)不錯(cuò)的方按和大家分享。樓主可以用光纖柜（解決存儲(chǔ)共享問題）+雙機(jī)集群軟件（實(shí)現(xiàn)24*7小時(shí)不停機(jī)）+f5(負(fù)載均衡）=問題就解決了。如果考慮光纖柜價(jià)格較高，可以考慮 用SATA硬盤的，容量既擴(kuò)大了，有節(jié)省了費(fèi)用。我大概算了一下：光纖柜+雙機(jī)集群軟件+f5(負(fù)載均衡=三十幾萬，還是蠻合適的，光纖柜的配置你看看附件。

[ 本帖最后由 xintao800 于 2006-6-1 18:09 編輯 ]