【大話IT】互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用：PowerLinux能巔覆x86性能嗎？

fengzhanhai

回復(fù) 22# pipihappy8888
在可以預(yù)見的未來，大數(shù)據(jù)是大勢所趨，目前正在從IT走向DT時(shí)代。cu的這個(gè)話題非常的棒~引領(lǐng)科技前沿，也證明了CU社區(qū)是一個(gè)以技術(shù)基因?yàn)楦�的社區(qū)，這也是我喜歡cu的地方，也是大多數(shù)一線工程師喜歡cu的地方~ 不羅嗦，不大談理論，不搞華而不實(shí)的**，只求看得見摸得著的實(shí)實(shí)在在的東西~
哈哈，更要感謝cu有一個(gè)強(qiáng)大的team member@小尾巴魚

jimn1982

回復(fù) 17# fengzhanhai


    支持你的光點(diǎn)，只是現(xiàn)在分布式的HADOOP集群的服務(wù)器成本有點(diǎn)高，低了處理不了大的數(shù)據(jù)

fengzhanhai

回復(fù) 25# jimn1982
不僅僅是投入成本，還有維護(hù)成本，人力成本，而且目前大數(shù)據(jù)庫工程師奇缺導(dǎo)致要價(jià)奇高 恨不得自己從零開始做一個(gè)大數(shù)據(jù)菜鳥

Let_it_go

支持！

liuhuoxingkong

1、您在使用大數(shù)據(jù)分析時(shí)，碰到過哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫之間的連接等等？
沒有從事大數(shù)據(jù)分析相關(guān)工作。在學(xué)習(xí)的過程中，感覺主要問題是計(jì)算能力和存儲能力


3、在部署大數(shù)據(jù)方案時(shí)，您是如何進(jìn)行IT硬件選型的，主要會(huì)考慮哪些因素？
基本就是系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性這幾個(gè)性能進(jìn)行對比，考慮實(shí)際的業(yè)務(wù)要求，判斷哪一項(xiàng)的優(yōu)先級更好，當(dāng)然，價(jià)格和服務(wù)也是不可忽略的因素

4、對于IBM推出的上述大數(shù)據(jù)方案，您是否會(huì)考慮遷移測試？為什么？
公司暫時(shí)沒有遷移計(jì)劃，由于長時(shí)間的數(shù)據(jù)積累，成本是很大的，而且暫時(shí)又沒有絕對必要的理由

stay_sun

1、您在使用大數(shù)據(jù)分析時(shí)，碰到過哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫之間的連接等等？
大數(shù)據(jù)方面的運(yùn)維很麻煩，在穩(wěn)定性方面很揉一出問題。因?yàn)閔adoop的技術(shù)應(yīng)用不多。
2、為提高Hadoop、NoSQL、MongoDB的性能，您一般會(huì)采用什么樣的方法？現(xiàn)有的方法還存在哪些不足？
分布式集群部署 分析系統(tǒng)
3、在部署大數(shù)據(jù)方案時(shí)，您是如何進(jìn)行IT硬件選型的，主要會(huì)考慮哪些因素？
目前沒有選型過
4、對于IBM推出的上述大數(shù)據(jù)方案，您是否會(huì)考慮遷移測試？為什么？
可以測試 遷移就得用過之后才知道

Darren_Guo

1、您在使用大數(shù)據(jù)分析時(shí)，碰到過哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫之間的連接等等？
答：主要的困擾是大數(shù)據(jù)的及時(shí)處理，對于巨大的數(shù)據(jù)流，怎樣高效的將數(shù)據(jù)流引入到自己的系統(tǒng)中并進(jìn)行分析。系統(tǒng)的性能是一個(gè)很大的問題，面對海量的數(shù)據(jù)，對系統(tǒng)的性能要求是很苛刻的。
2、為提高Hadoop、NoSQL、MongoDB的性能，您一般會(huì)采用什么樣的方法？現(xiàn)有的方法還存在哪些不足？
答：硬件架構(gòu)固定后，主要是優(yōu)化系統(tǒng)。這個(gè)方法的瓶頸最后還是硬件設(shè)備的限制。
3、在部署大數(shù)據(jù)方案時(shí)，您是如何進(jìn)行IT硬件選型的，主要會(huì)考慮哪些因素？
答：主要考慮硬件的擴(kuò)展性和價(jià)格，因?yàn)榇髷?shù)據(jù)需要的硬件設(shè)備會(huì)相對較多，價(jià)格是很重要的因素。
4、對于IBM推出的上述大數(shù)據(jù)方案，您是否會(huì)考慮遷移測試？為什么？
答：在新系統(tǒng)上可能會(huì)考慮，老系統(tǒng)考慮到遷移的問題一般不會(huì)考慮。

help01

1、您在使用大數(shù)據(jù)分析時(shí)，碰到過哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫之間的連接等等？
在使用大數(shù)據(jù)分析時(shí)，遇到的一個(gè)困擾就是如何確定數(shù)據(jù)的邊界。雖然大數(shù)據(jù)是要有海量的基礎(chǔ)數(shù)據(jù)為支撐，但就算是海也有邊界，如何確定這個(gè)邊界其實(shí)沒有定論，關(guān)鍵還是要實(shí)施者自己來把控。
具體到硬件層面，在拓展數(shù)據(jù)庫服務(wù)器時(shí)，確保新加入數(shù)據(jù)庫的穩(wěn)定和性能也是難點(diǎn)之一。尤其當(dāng)存在不同種類數(shù)據(jù)庫時(shí)，在穩(wěn)定性以及數(shù)據(jù)庫之間互聯(lián)方面需要加以注意。

2、為提高Hadoop、NoSQL、MongoDB的性能，您一般會(huì)采用什么樣的方法？現(xiàn)有的方法還存在哪些不足？
為提高性能，從硬件上來講我會(huì)增加服務(wù)器的內(nèi)存，并且考慮固態(tài)硬盤。
這些方法能一定程度上提升Hadoop、NoSQL或者M(jìn)ongoDB性能，但是提升空間有限，畢竟不可能無限制地購買內(nèi)存和更換硬盤。而且也會(huì)受到系統(tǒng)架構(gòu)的制約。

3、在部署大數(shù)據(jù)方案時(shí)，您是如何進(jìn)行IT硬件選型的，主要會(huì)考慮哪些因素？
CPU通�？紤]四核低功耗CPU，包括低功率的電源配置，能夠支撐八核心低功耗設(shè)備。
兩個(gè)六核處理器（6核12線程），可支持96個(gè)基本的虛擬機(jī)（VM），最大支持96 GB 的內(nèi)存。
利用閃存驅(qū)動(dòng)器啟動(dòng)服務(wù)器管理程序，將來可以考慮把操作系統(tǒng)和一些小型的服務(wù)器應(yīng)用，如LAMP放到閃存當(dāng)中運(yùn)行。

4、對于IBM推出的上述大數(shù)據(jù)方案，您是否會(huì)考慮遷移測試？為什么？
暫時(shí)還不會(huì)考慮遷移測試，因?yàn)橄到y(tǒng)目前運(yùn)行穩(wěn)定，而且沒有嚴(yán)重的性能瓶頸。