【大話IT】互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用：PowerLinux能巔覆x86性能嗎？

zhaopingzi

1、您在使用大數(shù)據(jù)分析時(shí)，碰到過(guò)哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫(kù)之間的連接等等？
        大數(shù)據(jù)分析基本都是NOsql,我習(xí)慣使用SQL
2、為提高Hadoop、NoSQL、MongoDB的性能，您一般會(huì)采用什么樣的方法？現(xiàn)有的方法還存在哪些不足？
        買(mǎi)好硬件。大把花錢(qián)
3、在部署大數(shù)據(jù)方案時(shí)，您是如何進(jìn)行IT硬件選型的，主要會(huì)考慮哪些因素？
        買(mǎi)性價(jià)比高的硬件
4、對(duì)于IBM推出的上述大數(shù)據(jù)方案，您是否會(huì)考慮遷移測(cè)試？為什么？
    不會(huì)。以前用的好好的，為什么要遷移

zhangdiandong

1、您在使用大數(shù)據(jù)分析時(shí)，碰到過(guò)哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫(kù)之間的連接等等？
  主要面對(duì)問(wèn)題大數(shù)據(jù)容量的存儲(chǔ)，大規(guī)模并發(fā)量的快速處理，及數(shù)據(jù)庫(kù)與程序之間讀寫(xiě)執(zhí)行的效率
2、為提高Hadoop、NoSQL、MongoDB的性能，您一般會(huì)采用什么樣的方法？現(xiàn)有的方法還存在哪些不足？
  采用分布式處理，提高并行運(yùn)行處理效率，優(yōu)化存儲(chǔ)及提高執(zhí)行的效率
3、在部署大數(shù)據(jù)方案時(shí)，您是如何進(jìn)行IT硬件選型的，主要會(huì)考慮哪些因素？
  采購(gòu)計(jì)劃統(tǒng)一性 平臺(tái)的可擴(kuò)展性 ，需要與采購(gòu)商進(jìn)行方案的溝通，同時(shí)需要關(guān)注到部門(mén)員工的it技能是否能達(dá)到要求，進(jìn)而還需要針對(duì)公司的整體資產(chǎn)更新規(guī)劃及業(yè)務(wù)的法陣需要
4、對(duì)于IBM推出的上述大數(shù)據(jù)方案，您是否會(huì)考慮遷移測(cè)試？為什么？
會(huì)考慮測(cè)試，但是需要針對(duì)目前業(yè)務(wù)需要作出明確的計(jì)劃列表，而且要根據(jù)整體的軟硬件采購(gòu)規(guī)劃考慮是否在業(yè)務(wù)發(fā)展需要時(shí)進(jìn)行遷移

realkid4

拙見(jiàn)如下：
1、在硬件產(chǎn)品日趨廉價(jià)、優(yōu)秀開(kāi)源軟件日益流行的今天。進(jìn)行大數(shù)據(jù)、數(shù)據(jù)挖掘分析最大的問(wèn)題在于業(yè)務(wù)導(dǎo)向。老實(shí)說(shuō)，傳統(tǒng)行業(yè)的業(yè)務(wù)人員普遍滿足于報(bào)表和簡(jiǎn)單查詢系統(tǒng)。以研究分析為目的，大數(shù)據(jù)和數(shù)據(jù)挖掘?yàn)槭侄蔚慕ㄔO(shè)項(xiàng)目經(jīng)常遇到“歸屬”問(wèn)題，沒(méi)有業(yè)務(wù)部門(mén)、業(yè)務(wù)專(zhuān)家會(huì)主動(dòng)承擔(dān)起這部分責(zé)任。單純依賴技術(shù)人員，是不能滿足大數(shù)據(jù)的分析目的的。軟硬件方面，筆者認(rèn)為普遍都不是大的問(wèn)題。
2、已經(jīng)典的關(guān)系數(shù)據(jù)結(jié)構(gòu)作為核心分析點(diǎn)，對(duì)于非結(jié)構(gòu)和半結(jié)構(gòu)數(shù)據(jù)，采用小步快走的方式開(kāi)發(fā)；
3、IO、內(nèi)存和事后調(diào)優(yōu)團(tuán)隊(duì)的引入；
4、有意愿進(jìn)行測(cè)試。回復(fù) 1# pipihappy8888


   

fengzhanhai

回復(fù) 1# pipihappy8888
pipi很牛叉，20秒之內(nèi)拋出2個(gè)熱門(mén)話題，一個(gè)是大數(shù)據(jù)，一個(gè)是云計(jì)算O(∩_∩)O哈哈~我必須得力頂一下啊~~
目前我們的團(tuán)隊(duì)正在測(cè)試Hadoop大數(shù)據(jù)平臺(tái)，我也有幸參與之中，現(xiàn)在最棘手的問(wèn)題是公司沒(méi)有大數(shù)據(jù)方面的技術(shù)積累，更糟糕的是Hadoop不是一個(gè)開(kāi)箱即用的產(chǎn)品，需要二次開(kāi)發(fā)定制，對(duì)于我們傳統(tǒng)IT公司來(lái)說(shuō)依靠一己之力短期內(nèi)無(wú)法搞定。目前找了IBM、華為、東方國(guó)信、星環(huán)等幾家專(zhuān)業(yè)大數(shù)據(jù)解決方案公司。前期也和這幾家公司進(jìn)行了多次交流，感覺(jué)總是或多或少的存在一些遺憾，不能切中我們的需求的痛點(diǎn)。通過(guò)幾輪交流下來(lái)，IBM的大數(shù)據(jù)解決方案感覺(jué)相對(duì)成熟但是相對(duì)其他幾家公司來(lái)講其靈活性太差，無(wú)法為某一企業(yè)特殊場(chǎng)景需求進(jìn)行定制。
對(duì)于硬件方面各廠商都建議使用x86物理機(jī)進(jìn)行部署hadoop集群，廠商匡算出來(lái)的結(jié)果，按照我們現(xiàn)在的數(shù)據(jù)量需要50臺(tái)機(jī)器，單機(jī)配置為cpu 32c*2.6GHz，256G內(nèi)存,1,5T存儲(chǔ)，SSD 500G感覺(jué)有點(diǎn)夸張~~
個(gè)人觀點(diǎn)：對(duì)于Hadoop這類(lèi)分布式計(jì)算框架來(lái)講，單臺(tái)計(jì)算機(jī)節(jié)點(diǎn)的可靠性不在重要，因?yàn)閔adoop本身提供了容錯(cuò)性和可靠性的保證，所以在這一點(diǎn)上power架構(gòu)的服務(wù)器單點(diǎn)的健壯性并不具備優(yōu)勢(shì)，且其一次性投入成本也不占據(jù)優(yōu)勢(shì)。若是在hadoop這類(lèi)本身以廉價(jià)服務(wù)器構(gòu)建超級(jí)計(jì)算集群節(jié)點(diǎn)為初衷的應(yīng)用之上非要選擇power服務(wù)器，那唯一能說(shuō)服我選擇power架構(gòu)的服務(wù)器原因就是出于計(jì)算性的考慮而選擇power。

laputa73

用power顛覆x86的性能,這個(gè)沒(méi)有問(wèn)題。
問(wèn)題是用power顛覆x86.這個(gè)不全是軟件的問(wèn)題。這么多年以來(lái),基于unix的risc陣營(yíng)挑戰(zhàn)x86, 已經(jīng)幾乎全軍覆沒(méi)，這里面或許有不少是操作系統(tǒng)的因素，還有x86平臺(tái)的開(kāi)放性，也勝過(guò)risc平臺(tái)的碎片化和封閉性。
powerlinux這個(gè)方向還是好的，比死守aix強(qiáng)。opensolaris一樣活不下去。
現(xiàn)在大家都轉(zhuǎn)向linux, 而且cpu的廠家也洗得差不多了，基本就是IBM vs Intel, risc有可能翻盤(pán)嗎？
如果IBM真的開(kāi)放power的授權(quán)，向ARM學(xué)習(xí)，搞openpower,我覺(jué)得的是可能的，因?yàn)閤86的開(kāi)放性已經(jīng)名存實(shí)亡了。
只有開(kāi)放，才能極大壓低成本。
問(wèn)題是這個(gè)東東美國(guó)政府看的很?chē)?yán)啊。

jackson198574

1、您在使用大數(shù)據(jù)分析時(shí)，碰到過(guò)哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫(kù)之間的連接等等？
一直用的IBM的小型機(jī)和服務(wù)器做傳統(tǒng)行業(yè)，包括PC和Power Linux，感覺(jué)硬件上還是非常穩(wěn)定的。
2、為提高Hadoop、NoSQL、MongoDB的性能，您一般會(huì)采用什么樣的方法？現(xiàn)有的方法還存在哪些不足？
暫時(shí)還沒(méi)用到這幾個(gè)數(shù)據(jù)庫(kù)，考慮過(guò)嘗試使用閃存。
3、在部署大數(shù)據(jù)方案時(shí)，您是如何進(jìn)行IT硬件選型的，主要會(huì)考慮哪些因素？
借用皮主編第一個(gè)題目里的3個(gè)詞，穩(wěn)定性、拓展性和高可用，感覺(jué)都很重要，現(xiàn)在大數(shù)據(jù)相關(guān)的產(chǎn)業(yè)百花齊放，競(jìng)爭(zhēng)激烈，稍有閃失可能就會(huì)被同類(lèi)對(duì)手搶走用戶。
4、對(duì)于IBM推出的上述大數(shù)據(jù)方案，您是否會(huì)考慮遷移測(cè)試？為什么？
接觸過(guò)很多IBM的硬件產(chǎn)品，也遇到過(guò)很多問(wèn)題，從經(jīng)驗(yàn)上看，IBM的硬件還是很靠譜的，PowerLinux用起來(lái)感覺(jué)挺好，物美價(jià)廉。

fengzhanhai

回復(fù) 17# fengzhanhai
關(guān)于目前遇到的困難再補(bǔ)充以下幾點(diǎn)：
1.數(shù)據(jù)來(lái)源分散，存在大量異構(gòu)性數(shù)據(jù)，沒(méi)有找到好的的手段進(jìn)行標(biāo)準(zhǔn)化處理；
2.沒(méi)有有效的手段保證數(shù)據(jù)的質(zhì)量；
3.目前團(tuán)隊(duì)內(nèi)部沒(méi)有大數(shù)據(jù)技術(shù)專(zhuān)家與數(shù)據(jù)分析師復(fù)合型人才，無(wú)法充分挖掘、洞察當(dāng)前數(shù)據(jù)的價(jià)值，只能跟在廠商屁股后面；
4.團(tuán)隊(duì)技術(shù)薄弱................................

   

limit001g

吐槽吐槽 ，下面的技術(shù)講解視頻不夠好， 噪聲大，內(nèi)容聽(tīng)不太清楚，看了開(kāi)頭就直接關(guān)閉了，是不是可以請(qǐng)IBM相關(guān)技術(shù)人員專(zhuān)門(mén)錄制一段產(chǎn)品講解視頻呢。這樣對(duì)論壇、論壇參與人員以及廠家是有益的啊。（不知道是不是因?yàn)樯婷芰耍?我想不至于吧。）
Power體驗(yàn)營(yíng)”([llurl]htt://topic.it168.com/game/ibm1505v1/[/,,url])觀看IBM工程師的技術(shù)講解視頻。

pipihappy8888

很是安慰哦！回復(fù) 17# fengzhanhai


   

pipihappy8888

哈哈，改天有機(jī)會(huì)再弄個(gè)新的體驗(yàn)營(yíng)，超清視頻！回復(fù) 21# limit001g