亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費(fèi)注冊(cè) 查看新帖 |

Chinaunix

  平臺(tái) 論壇 博客 文庫(kù)
1234567下一頁(yè)
最近訪問板塊 發(fā)新帖
查看: 46053 | 回復(fù): 69
打印 上一主題 下一主題

【大話IT】互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用:PowerLinux能巔覆x86性能嗎? [復(fù)制鏈接]

論壇徽章:
5
2015年辭舊歲徽章
日期:2015-03-03 16:54:152014年中國(guó)系統(tǒng)架構(gòu)師大會(huì)
日期:2015-06-05 16:54:182011年中國(guó)系統(tǒng)架構(gòu)師大會(huì)
日期:2015-06-05 16:54:392012年中國(guó)系統(tǒng)架構(gòu)師大會(huì)
日期:2015-06-05 16:54:392013年中國(guó)系統(tǒng)架構(gòu)師大會(huì)
日期:2015-06-05 16:54:39
跳轉(zhuǎn)到指定樓層
1 [收藏(0)] [報(bào)告]
發(fā)表于 2015-05-28 14:19 |只看該作者 |倒序?yàn)g覽



眾所周知,互聯(lián)網(wǎng)行業(yè)一直是大數(shù)據(jù)技術(shù)應(yīng)用的主力軍。隨著移動(dòng)社交應(yīng)用、手機(jī)應(yīng)用的普及應(yīng)用,數(shù)據(jù)量不斷增加,而大數(shù)據(jù)的核心訴求是通過追求極致性能來快速洞察數(shù)據(jù),從而對(duì)大數(shù)據(jù)軟硬件技術(shù)提出挑戰(zhàn),也引發(fā)了業(yè)界新的思考。比如,盡管今天絕大多數(shù)互聯(lián)網(wǎng)企業(yè)都在使用x86服務(wù)器來做分布式系統(tǒng),但為什么Google積極地參與OpenPOWER聯(lián)盟來發(fā)展新的技術(shù)和產(chǎn)品?如果有更高性能而且更可靠的服務(wù)器,BAT們不必頻繁更換配件或整機(jī),豈不更省錢省事省人工?



我們看到,IBM的Linux on Power正帶給我們一種全新的思路和選擇。一方面是IBM開始走開放路線,通過推出PowerLinux服務(wù)器及OpenPOWER生態(tài)聯(lián)盟,支持Linux、Hadoop、KVM、OpenStack、NoSQL等主流開源技術(shù);另一方面,則是將POWER架構(gòu)的性能與可靠性優(yōu)勢(shì),與開源技術(shù)相結(jié)合,推出了一系列讓人耳目一新的云和大數(shù)據(jù)解決方案。比如,CAPI+Flash+Redis的NoSQL方案解決了傳統(tǒng)x86方案面臨的內(nèi)存容量不足、性能瓶頸、可靠性缺失、成本不可控、復(fù)雜性增加等挑戰(zhàn),將IOPs提高了6倍,延遲降低了2倍多;基于Symphony+GPFS的大數(shù)據(jù)方案兼容開源Hadoop標(biāo)準(zhǔn),并充分利用了PowerLinux在密集型IO和密集內(nèi)存訪問方面的優(yōu)勢(shì)。



為了了解更多用戶的想法,本期大話IT欄目,邀請(qǐng)各位大佬一起來探討一下PowerLinux在這一領(lǐng)域的前景,期待大家多多參與。

如果你對(duì)Linux on Power還不了解,也沒關(guān)系,可以去我們的“Power體驗(yàn)營(yíng)”(http://topic.it168.com/game/ibm1505v1/)觀看IBM工程師的技術(shù)講解視頻,再來參與討論。



技術(shù)視頻:

全堆棧Hadoop計(jì)算 認(rèn)知及預(yù)測(cè)解決方案

探究Linux on Power的NoSQL解決方案

MangoDB數(shù)據(jù)庫(kù)技術(shù)實(shí)戰(zhàn)分享



討論話題:


1、您在使用大數(shù)據(jù)分析時(shí),碰到過哪些困擾和挑戰(zhàn)?具體到硬件層面,您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫(kù)之間的連接等等?

2、為提高Hadoop、NoSQL、MongoDB的性能,您一般會(huì)采用什么樣的方法?現(xiàn)有的方法還存在哪些不足?

3、在部署大數(shù)據(jù)方案時(shí),您是如何進(jìn)行IT硬件選型的,主要會(huì)考慮哪些因素?

4、對(duì)于IBM推出的上述大數(shù)據(jù)方案,您是否會(huì)考慮遷移測(cè)試?為什么?

活動(dòng)時(shí)間:2015年5月28日-6月28日

活動(dòng)獎(jiǎng)勵(lì):活躍會(huì)員將贈(zèng)送精美禮品一份

獲獎(jiǎng)名單:fengzhanhai 五岳之巔 help01 xkf01  zhangdiandong  minicooperrrm  realkid4 .

論壇徽章:
0
10 [報(bào)告]
發(fā)表于 2015-06-02 11:03 |只看該作者
1、您在使用大數(shù)據(jù)分析時(shí),碰到過哪些困擾和挑戰(zhàn)?具體到硬件層面,您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫(kù)之間的連接等等?
碰到的困擾和挑戰(zhàn)主要是1、復(fù)雜的數(shù)據(jù)計(jì)算和存儲(chǔ) 2、技術(shù)的成熟度。

2、為提高Hadoop、NoSQL、MongoDB的性能,您一般會(huì)采用什么樣的方法?現(xiàn)有的方法還存在哪些不足?
方法有:優(yōu)先保證級(jí)別高的作業(yè);單個(gè)任務(wù)內(nèi)存控制;磁盤IO監(jiān)控等等吧

3、在部署大數(shù)據(jù)方案時(shí),您是如何進(jìn)行IT硬件選型的,主要會(huì)考慮哪些因素?
統(tǒng)一規(guī)劃:明確應(yīng)用系統(tǒng)在規(guī)劃期內(nèi)的規(guī)模,對(duì)整個(gè)應(yīng)用系統(tǒng)的模塊、用戶、流程進(jìn)行分析,確定總體需求,從而定義出其硬件平臺(tái)對(duì)應(yīng)的架構(gòu)和配置。
高可用性:要求硬件平臺(tái)具有單點(diǎn)失效保護(hù),能夠?qū)崿F(xiàn)故障預(yù)警、報(bào)警,具有良好的故障應(yīng)急處理能力。如在出現(xiàn)有限個(gè)數(shù)的服務(wù)器、磁盤、存儲(chǔ)設(shè)備或交換機(jī)故障等情況下,系統(tǒng)可以繼續(xù)運(yùn)行,不影響業(yè)務(wù)處理。
高擴(kuò)展性:由于應(yīng)用系統(tǒng)建設(shè)是一個(gè)長(zhǎng)期持續(xù)的過程,日后隨著公司規(guī)模擴(kuò)大和業(yè)務(wù)量的增長(zhǎng),用戶數(shù)可能會(huì)超出預(yù)期,當(dāng)硬件平臺(tái)的處理能力不夠時(shí),要求可以在原有架構(gòu)的基礎(chǔ)上實(shí)現(xiàn)靈活擴(kuò)展。
高安全性:能夠?qū)崿F(xiàn)良好的信息安全能力,能夠應(yīng)用靈活的安全策略,如對(duì)不同用途的服務(wù)器進(jìn)行安全分區(qū)以實(shí)現(xiàn)不同程度的隔離等。
高可維護(hù)性:維護(hù)便捷簡(jiǎn)單,盡量減少宕機(jī)時(shí)間,特別是減少進(jìn)行故障修復(fù)、系統(tǒng)擴(kuò)展和變更時(shí)的宕機(jī)時(shí)間,能夠提供友好、全面的監(jiān)控工具。
合適性價(jià)比:在滿足需求并符合上述原則的前提下,良好的性價(jià)比是關(guān)鍵。各家硬件各有所長(zhǎng),關(guān)鍵是需要關(guān)注滿足應(yīng)用系統(tǒng)需求的技術(shù),而不是一味追求先進(jìn)技術(shù),

4、對(duì)于IBM推出的上述大數(shù)據(jù)方案,您是否會(huì)考慮遷移測(cè)試?為什么?
如果是我,暫時(shí)不考慮,至少1-2年內(nèi)不會(huì)。主要是考慮到現(xiàn)狀,遷移的復(fù)雜性,以及技術(shù)的成熟度。

論壇徽章:
0
12 [報(bào)告]
發(fā)表于 2015-06-03 13:16 |只看該作者
1、您在使用大數(shù)據(jù)分析時(shí),碰到過哪些困擾和挑戰(zhàn)?具體到硬件層面,您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫(kù)之間的連接等等?
  主要面對(duì)問題大數(shù)據(jù)容量的存儲(chǔ),大規(guī)模并發(fā)量的快速處理,及數(shù)據(jù)庫(kù)與程序之間讀寫執(zhí)行的效率
2、為提高Hadoop、NoSQL、MongoDB的性能,您一般會(huì)采用什么樣的方法?現(xiàn)有的方法還存在哪些不足?
  采用分布式處理,提高并行運(yùn)行處理效率,優(yōu)化存儲(chǔ)及提高執(zhí)行的效率
3、在部署大數(shù)據(jù)方案時(shí),您是如何進(jìn)行IT硬件選型的,主要會(huì)考慮哪些因素?
  采購(gòu)計(jì)劃統(tǒng)一性 平臺(tái)的可擴(kuò)展性 ,需要與采購(gòu)商進(jìn)行方案的溝通,同時(shí)需要關(guān)注到部門員工的it技能是否能達(dá)到要求,進(jìn)而還需要針對(duì)公司的整體資產(chǎn)更新規(guī)劃及業(yè)務(wù)的法陣需要
4、對(duì)于IBM推出的上述大數(shù)據(jù)方案,您是否會(huì)考慮遷移測(cè)試?為什么?
會(huì)考慮測(cè)試,但是需要針對(duì)目前業(yè)務(wù)需要作出明確的計(jì)劃列表,而且要根據(jù)整體的軟硬件采購(gòu)規(guī)劃考慮是否在業(yè)務(wù)發(fā)展需要時(shí)進(jìn)行遷移

論壇徽章:
0
16 [報(bào)告]
發(fā)表于 2015-06-03 15:25 |只看該作者
拙見如下:
1、在硬件產(chǎn)品日趨廉價(jià)、優(yōu)秀開源軟件日益流行的今天。進(jìn)行大數(shù)據(jù)、數(shù)據(jù)挖掘分析最大的問題在于業(yè)務(wù)導(dǎo)向。老實(shí)說,傳統(tǒng)行業(yè)的業(yè)務(wù)人員普遍滿足于報(bào)表和簡(jiǎn)單查詢系統(tǒng)。以研究分析為目的,大數(shù)據(jù)和數(shù)據(jù)挖掘?yàn)槭侄蔚慕ㄔO(shè)項(xiàng)目經(jīng)常遇到“歸屬”問題,沒有業(yè)務(wù)部門、業(yè)務(wù)專家會(huì)主動(dòng)承擔(dān)起這部分責(zé)任。單純依賴技術(shù)人員,是不能滿足大數(shù)據(jù)的分析目的的。軟硬件方面,筆者認(rèn)為普遍都不是大的問題。
2、已經(jīng)典的關(guān)系數(shù)據(jù)結(jié)構(gòu)作為核心分析點(diǎn),對(duì)于非結(jié)構(gòu)和半結(jié)構(gòu)數(shù)據(jù),采用小步快走的方式開發(fā);
3、IO、內(nèi)存和事后調(diào)優(yōu)團(tuán)隊(duì)的引入;
4、有意愿進(jìn)行測(cè)試。回復(fù) 1# pipihappy8888


   

論壇徽章:
10
CU大;照
日期:2013-05-20 10:44:54數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-09 22:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-06-05 22:20:00亥豬
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年紀(jì)念徽章
日期:2013-10-24 15:41:34CU大;照
日期:2013-05-20 10:45:31CU大;照
日期:2013-05-20 10:45:24CU大;照
日期:2013-05-20 10:45:13綜合交流區(qū)版塊每日發(fā)帖之星
日期:2016-02-12 06:20:00
17 [報(bào)告]
發(fā)表于 2015-06-03 22:43 |只看該作者
回復(fù) 1# pipihappy8888
pipi很牛叉,20秒之內(nèi)拋出2個(gè)熱門話題,一個(gè)是大數(shù)據(jù),一個(gè)是云計(jì)算O(∩_∩)O哈哈~我必須得力頂一下啊~~
目前我們的團(tuán)隊(duì)正在測(cè)試Hadoop大數(shù)據(jù)平臺(tái),我也有幸參與之中,現(xiàn)在最棘手的問題是公司沒有大數(shù)據(jù)方面的技術(shù)積累,更糟糕的是Hadoop不是一個(gè)開箱即用的產(chǎn)品,需要二次開發(fā)定制,對(duì)于我們傳統(tǒng)IT公司來說依靠一己之力短期內(nèi)無法搞定。目前找了IBM、華為、東方國(guó)信、星環(huán)等幾家專業(yè)大數(shù)據(jù)解決方案公司。前期也和這幾家公司進(jìn)行了多次交流,感覺總是或多或少的存在一些遺憾,不能切中我們的需求的痛點(diǎn)。通過幾輪交流下來,IBM的大數(shù)據(jù)解決方案感覺相對(duì)成熟但是相對(duì)其他幾家公司來講其靈活性太差,無法為某一企業(yè)特殊場(chǎng)景需求進(jìn)行定制。
對(duì)于硬件方面各廠商都建議使用x86物理機(jī)進(jìn)行部署hadoop集群,廠商匡算出來的結(jié)果,按照我們現(xiàn)在的數(shù)據(jù)量需要50臺(tái)機(jī)器,單機(jī)配置為cpu 32c*2.6GHz,256G內(nèi)存,1,5T存儲(chǔ),SSD 500G感覺有點(diǎn)夸張~~
個(gè)人觀點(diǎn):對(duì)于Hadoop這類分布式計(jì)算框架來講,單臺(tái)計(jì)算機(jī)節(jié)點(diǎn)的可靠性不在重要,因?yàn)閔adoop本身提供了容錯(cuò)性和可靠性的保證,所以在這一點(diǎn)上power架構(gòu)的服務(wù)器單點(diǎn)的健壯性并不具備優(yōu)勢(shì),且其一次性投入成本也不占據(jù)優(yōu)勢(shì)。若是在hadoop這類本身以廉價(jià)服務(wù)器構(gòu)建超級(jí)計(jì)算集群節(jié)點(diǎn)為初衷的應(yīng)用之上非要選擇power服務(wù)器,那唯一能說服我選擇power架構(gòu)的服務(wù)器原因就是出于計(jì)算性的考慮而選擇power。

論壇徽章:
42
19周年集字徽章-周
日期:2019-10-14 14:35:31平安夜徽章
日期:2015-12-26 00:06:30數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-12-01 06:20:002015亞冠之首爾
日期:2015-11-04 22:25:43IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-08-17 06:20:00寅虎
日期:2014-06-04 16:25:27獅子座
日期:2014-05-12 11:00:00辰龍
日期:2013-12-20 17:07:19射手座
日期:2013-10-24 21:01:23CU十二周年紀(jì)念徽章
日期:2013-10-24 15:41:34IT運(yùn)維版塊每日發(fā)帖之星
日期:2016-01-27 06:20:0015-16賽季CBA聯(lián)賽之新疆
日期:2016-06-07 14:10:01
18 [報(bào)告]
發(fā)表于 2015-06-04 08:36 |只看該作者
用power顛覆x86的性能,這個(gè)沒有問題。
問題是用power顛覆x86.這個(gè)不全是軟件的問題。這么多年以來,基于unix的risc陣營(yíng)挑戰(zhàn)x86, 已經(jīng)幾乎全軍覆沒,這里面或許有不少是操作系統(tǒng)的因素,還有x86平臺(tái)的開放性,也勝過risc平臺(tái)的碎片化和封閉性。
powerlinux這個(gè)方向還是好的,比死守aix強(qiáng)。opensolaris一樣活不下去。
現(xiàn)在大家都轉(zhuǎn)向linux, 而且cpu的廠家也洗得差不多了,基本就是IBM vs Intel, risc有可能翻盤嗎?
如果IBM真的開放power的授權(quán),向ARM學(xué)習(xí),搞openpower,我覺得的是可能的,因?yàn)閤86的開放性已經(jīng)名存實(shí)亡了。
只有開放,才能極大壓低成本。
問題是這個(gè)東東美國(guó)政府看的很嚴(yán)啊。

論壇徽章:
17
天蝎座
日期:2014-03-10 14:35:04數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-12-13 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-12-13 06:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-10-20 06:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-08-21 06:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-17 22:20:002015年迎新春徽章
日期:2015-03-04 09:57:092015年辭舊歲徽章
日期:2015-03-03 16:54:15技術(shù)圖書徽章
日期:2015-01-12 17:05:35亥豬
日期:2014-11-09 13:05:04金牛座
日期:2014-09-25 11:28:54處女座
日期:2014-09-15 19:58:36
19 [報(bào)告]
發(fā)表于 2015-06-04 09:22 |只看該作者
1、您在使用大數(shù)據(jù)分析時(shí),碰到過哪些困擾和挑戰(zhàn)?具體到硬件層面,您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫(kù)之間的連接等等?
一直用的IBM的小型機(jī)和服務(wù)器做傳統(tǒng)行業(yè),包括PC和Power Linux,感覺硬件上還是非常穩(wěn)定的。
2、為提高Hadoop、NoSQL、MongoDB的性能,您一般會(huì)采用什么樣的方法?現(xiàn)有的方法還存在哪些不足?
暫時(shí)還沒用到這幾個(gè)數(shù)據(jù)庫(kù),考慮過嘗試使用閃存。
3、在部署大數(shù)據(jù)方案時(shí),您是如何進(jìn)行IT硬件選型的,主要會(huì)考慮哪些因素?
借用皮主編第一個(gè)題目里的3個(gè)詞,穩(wěn)定性、拓展性和高可用,感覺都很重要,現(xiàn)在大數(shù)據(jù)相關(guān)的產(chǎn)業(yè)百花齊放,競(jìng)爭(zhēng)激烈,稍有閃失可能就會(huì)被同類對(duì)手搶走用戶。
4、對(duì)于IBM推出的上述大數(shù)據(jù)方案,您是否會(huì)考慮遷移測(cè)試?為什么?
接觸過很多IBM的硬件產(chǎn)品,也遇到過很多問題,從經(jīng)驗(yàn)上看,IBM的硬件還是很靠譜的,PowerLinux用起來感覺挺好,物美價(jià)廉。

論壇徽章:
71
子鼠
日期:2015-06-10 14:07:09丑牛
日期:2015-06-10 14:07:10寅虎
日期:2015-06-10 14:07:40卯兔
日期:2015-06-10 14:07:44辰龍
日期:2015-06-10 14:07:44巳蛇
日期:2015-06-10 14:07:46午馬
日期:2015-06-10 14:07:47未羊
日期:2015-06-10 14:07:48申猴
日期:2015-06-10 14:07:50酉雞
日期:2015-06-10 14:07:54戌狗
日期:2015-06-10 14:07:55亥豬
日期:2015-06-10 14:07:57
32 [報(bào)告]
發(fā)表于 2015-06-12 17:37 |只看該作者
提示: 作者被禁止或刪除 內(nèi)容自動(dòng)屏蔽

論壇徽章:
0
33 [報(bào)告]
發(fā)表于 2015-06-13 16:56 |只看該作者
1、您在使用大數(shù)據(jù)分析時(shí),碰到過哪些困擾和挑戰(zhàn)?具體到硬件層面,您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫(kù)之間的連接等等?
在使用大數(shù)據(jù)分析時(shí),遇到的一個(gè)困擾就是如何確定數(shù)據(jù)的邊界。雖然大數(shù)據(jù)是要有海量的基礎(chǔ)數(shù)據(jù)為支撐,但就算是海也有邊界,如何確定這個(gè)邊界其實(shí)沒有定論,關(guān)鍵還是要實(shí)施者自己來把控。
具體到硬件層面,在拓展數(shù)據(jù)庫(kù)服務(wù)器時(shí),確保新加入數(shù)據(jù)庫(kù)的穩(wěn)定和性能也是難點(diǎn)之一。尤其當(dāng)存在不同種類數(shù)據(jù)庫(kù)時(shí),在穩(wěn)定性以及數(shù)據(jù)庫(kù)之間互聯(lián)方面需要加以注意。

2、為提高Hadoop、NoSQL、MongoDB的性能,您一般會(huì)采用什么樣的方法?現(xiàn)有的方法還存在哪些不足?
為提高性能,從硬件上來講我會(huì)增加服務(wù)器的內(nèi)存,并且考慮固態(tài)硬盤。
這些方法能一定程度上提升Hadoop、NoSQL或者M(jìn)ongoDB性能,但是提升空間有限,畢竟不可能無限制地購(gòu)買內(nèi)存和更換硬盤。而且也會(huì)受到系統(tǒng)架構(gòu)的制約。

3、在部署大數(shù)據(jù)方案時(shí),您是如何進(jìn)行IT硬件選型的,主要會(huì)考慮哪些因素?
CPU通?紤]四核低功耗CPU,包括低功率的電源配置,能夠支撐八核心低功耗設(shè)備。
兩個(gè)六核處理器(6核12線程),可支持96個(gè)基本的虛擬機(jī)(VM),最大支持96 GB 的內(nèi)存。
利用閃存驅(qū)動(dòng)器啟動(dòng)服務(wù)器管理程序,將來可以考慮把操作系統(tǒng)和一些小型的服務(wù)器應(yīng)用,如LAMP放到閃存當(dāng)中運(yùn)行。

4、對(duì)于IBM推出的上述大數(shù)據(jù)方案,您是否會(huì)考慮遷移測(cè)試?為什么?
暫時(shí)還不會(huì)考慮遷移測(cè)試,因?yàn)橄到y(tǒng)目前運(yùn)行穩(wěn)定,而且沒有嚴(yán)重的性能瓶頸。

論壇徽章:
0
36 [報(bào)告]
發(fā)表于 2015-06-18 10:02 |只看該作者
1、您在使用大數(shù)據(jù)分析時(shí),碰到過哪些困擾和挑戰(zhàn)?具體到硬件層面,您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫(kù)之間的連接等等?
數(shù)據(jù)量的指數(shù)級(jí)增長(zhǎng)對(duì)存儲(chǔ)空間要求越來大,實(shí)時(shí)分析海量的數(shù)據(jù)對(duì)計(jì)算能力要求越來越高;數(shù)據(jù)龐大,對(duì)數(shù)據(jù)庫(kù)的要求更高,使得數(shù)據(jù)庫(kù)出現(xiàn)性能瓶頸;用戶的應(yīng)用和分析結(jié)果呈整合趨勢(shì),對(duì)實(shí)時(shí)性和響應(yīng)時(shí)間要求越來越高;
由于存在上面這些困擾和挑戰(zhàn),具體到硬件層面,在各個(gè)層面都會(huì)有一定的壓力,并且在高可用性能方面的瓶頸更為突出。
2、為提高Hadoop、NoSQL、MongoDB的性能,您一般會(huì)采用什么樣的方法?現(xiàn)有的方法還存在哪些不足?
使用排序 :分清任務(wù)的重要性,優(yōu)先級(jí)高的先執(zhí)行。
使用多線程:分解任務(wù)和數(shù)據(jù),充分利用CPU的多核心多線程。
使用多個(gè)數(shù)據(jù)庫(kù) 。將不同的線程結(jié)果輸出至不同的數(shù)據(jù)庫(kù),避免線程之間的相互等待。
現(xiàn)有的方法存在的不足:算法模型越來越復(fù)雜,對(duì)計(jì)算的要求越來越高。
3、在部署大數(shù)據(jù)方案時(shí),您是如何進(jìn)行IT硬件選型的,主要會(huì)考慮哪些因素?
統(tǒng)一規(guī)劃、技術(shù)領(lǐng)先、成本適中、品牌影響力、成功案例
4、對(duì)于IBM推出的上述大數(shù)據(jù)方案,您是否會(huì)考慮遷移測(cè)試?為什么?
不考慮遷移測(cè)試, 如果遷移測(cè)試,將面臨諸多風(fēng)險(xiǎn):
對(duì)IBM的大數(shù)據(jù)方案不熟悉,可能導(dǎo)致遷移失敗。
遷移測(cè)試的成本比較高,需要耗費(fèi)精力來做這件事情,遷移之后不好用,還需要再次遷移回來。
遷移之后系統(tǒng)運(yùn)行是否穩(wěn)定、是否會(huì)出現(xiàn)未知問題等等并且在遷移測(cè)試過程中,還可能面臨系統(tǒng)運(yùn)行是否穩(wěn)定等各種問題

論壇徽章:
10
數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-14 22:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2016-03-10 06:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-12-01 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-11-09 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-11-02 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-07-13 22:59:28IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-06-23 22:20:00程序設(shè)計(jì)版塊每日發(fā)帖之星
日期:2015-06-21 22:20:00每日論壇發(fā)貼之星
日期:2015-06-14 22:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2016-08-02 06:20:00
37 [報(bào)告]
發(fā)表于 2015-06-18 19:18 |只看該作者
1、您在使用大數(shù)據(jù)分析時(shí),碰到過哪些困擾和挑戰(zhàn)?具體到硬件層面,您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫(kù)之間的連接等等?
     大數(shù)據(jù)首先面對(duì)的是數(shù)據(jù)量的級(jí)數(shù)增加。硬件方面需要解決網(wǎng)絡(luò)傳輸即(iops)、計(jì)算能力、緩存服務(wù)器的選擇。
     目前在搭建云平臺(tái),用虛擬技術(shù),解決網(wǎng)絡(luò)分布式的問題。及數(shù)據(jù)庫(kù)第三方代理審計(jì)。和監(jiān)控Zabbix。

2、為提高Hadoop、NoSQL、MongoDB的性能,您一般會(huì)采用什么樣的方法?現(xiàn)有的方法還存在哪些不足?
     優(yōu)化Hadoop二次開發(fā)。
     網(wǎng)絡(luò)拓?fù)鋬?yōu)化、數(shù)據(jù)ETL優(yōu)化。及OS級(jí)的資源分配。
     SAN的存儲(chǔ)性能上不來。fio測(cè)試結(jié)果不理想。下部從服務(wù)器硬件、網(wǎng)絡(luò)交換機(jī)等考慮。

3、在部署大數(shù)據(jù)方案時(shí),您是如何進(jìn)行IT硬件選型的,主要會(huì)考慮哪些因素?
     操作系統(tǒng)和硬件的適配,國(guó)產(chǎn)安全級(jí)操作系統(tǒng)四級(jí)以上。硬件宕機(jī)、亮燈。硬件審計(jì)不好的,都不推薦的。

4、對(duì)于IBM推出的上述大數(shù)據(jù)方案,您是否會(huì)考慮遷移測(cè)試?為什么?
    會(huì)的,但安全級(jí)別和存儲(chǔ)機(jī)制需要首先和充分測(cè)試。

論壇徽章:
2
IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-06-26 22:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-06-29 22:20:00
63 [報(bào)告]
發(fā)表于 2015-06-25 20:48 |只看該作者
3、在部署大數(shù)據(jù)方案時(shí),您是如何進(jìn)行IT硬件選型的,主要會(huì)考慮哪些因素?

IT硬件還是主要看CPU和內(nèi)存,硬盤還好吧,持續(xù)性的服務(wù)其實(shí)很重要。有時(shí),如果沒有問題就算了,一旦有問題可能就是關(guān)鍵問題,對(duì)于一些小廠是不具備應(yīng)急服務(wù)的能力的。所以對(duì)于硬件廠商一定要慎重。

論壇徽章:
18
卯兔
日期:2013-09-27 17:41:0615-16賽季CBA聯(lián)賽之佛山
日期:2016-07-09 17:34:45操作系統(tǒng)版塊每周發(fā)帖之星
日期:2015-12-02 15:01:04IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-12-02 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-10-07 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-10-03 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-10-01 06:20:00羊年新春福章
日期:2015-04-01 17:56:06拜羊年徽章
日期:2015-04-01 17:56:062015年迎新春徽章
日期:2015-03-04 09:49:452015年辭舊歲徽章
日期:2015-03-03 16:54:15天秤座
日期:2015-01-14 06:39:28
2 [報(bào)告]
發(fā)表于 2015-05-28 15:35 |只看該作者
占座更新......

論壇徽章:
62
洛杉磯湖人
日期:2015-02-10 09:56:11黑曼巴
日期:2016-06-28 17:41:282015-2016NBA季后賽紀(jì)念章
日期:2016-06-28 17:41:282016猴年福章徽章
日期:2016-02-18 15:30:34圣安東尼奧馬刺
日期:2015-05-04 22:46:00菠菜神燈
日期:2015-05-04 22:35:07新奧爾良黃蜂
日期:2015-03-17 13:54:52明尼蘇達(dá)森林狼
日期:2015-03-16 21:51:15薩克拉門托國(guó)王
日期:2015-03-02 16:10:58華盛頓奇才
日期:2015-03-02 16:10:58邁阿密熱火
日期:2015-03-02 16:10:582016科比退役紀(jì)念章
日期:2016-06-28 17:41:28
3 [報(bào)告]
發(fā)表于 2015-05-28 18:20 |只看該作者

求職 : Linux運(yùn)維
論壇徽章:
19
CU大;照
日期:2013-03-13 15:15:0815-16賽季CBA聯(lián)賽之山東
日期:2016-10-31 10:40:10綜合交流區(qū)版塊每日發(fā)帖之星
日期:2016-07-06 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2016-02-08 06:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2016-01-15 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2016-01-15 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2016-01-10 06:20:00黃金圣斗士
日期:2015-11-24 10:45:10IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-09-01 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-08-13 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-07-30 09:40:012015年亞洲杯之巴勒斯坦
日期:2015-05-05 10:19:03
4 [報(bào)告]
發(fā)表于 2015-05-28 23:49 來自手機(jī) |只看該作者
占座,power單位用來跑服務(wù)器,似乎后期買的都是power的服務(wù)器,跑數(shù)據(jù)庫(kù)和application server

論壇徽章:
9
寅虎
日期:2013-12-02 12:49:22巨蟹座
日期:2014-07-18 18:13:34卯兔
日期:2014-07-25 14:43:08子鼠
日期:2014-07-26 10:10:51酉雞
日期:2014-07-31 15:09:562015亞冠之本尤德科
日期:2015-05-19 09:27:382015亞冠之卡爾希納薩夫
日期:2015-06-20 10:30:212015亞冠之阿爾納斯?fàn)?日期:2015-07-01 20:46:062015亞冠之城南
日期:2015-07-15 21:12:00
5 [報(bào)告]
發(fā)表于 2015-05-29 15:37 |只看該作者
趕緊了解下 ,要不然就跟不上潮流了

論壇徽章:
9
技術(shù)圖書徽章
日期:2014-10-14 15:48:13數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-04 22:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-10 22:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-11 22:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-13 22:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-09-22 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-12-08 06:20:00綜合交流區(qū)版塊每日發(fā)帖之星
日期:2016-02-02 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2016-07-25 06:20:00
6 [報(bào)告]
發(fā)表于 2015-05-29 22:35 |只看該作者
“IOPs提高了6倍,延遲降低了2倍多”,這個(gè)不算啥。

求職 : Linux運(yùn)維
論壇徽章:
19
CU大;照
日期:2013-03-13 15:15:0815-16賽季CBA聯(lián)賽之山東
日期:2016-10-31 10:40:10綜合交流區(qū)版塊每日發(fā)帖之星
日期:2016-07-06 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2016-02-08 06:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2016-01-15 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2016-01-15 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2016-01-10 06:20:00黃金圣斗士
日期:2015-11-24 10:45:10IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-09-01 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-08-13 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-07-30 09:40:012015年亞洲杯之巴勒斯坦
日期:2015-05-05 10:19:03
7 [報(bào)告]
發(fā)表于 2015-05-30 16:26 |只看該作者
感覺POWER是不是要好一些。!

論壇徽章:
0
8 [報(bào)告]
發(fā)表于 2015-05-30 18:18 |只看該作者
目前看,powerlinux還不能顛覆X86,畢竟目前可以疊加使用X86,滿足部分需求。

論壇徽章:
9
技術(shù)圖書徽章
日期:2014-10-14 15:48:13數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-04 22:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-10 22:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-11 22:20:00數(shù)據(jù)庫(kù)技術(shù)版塊每日發(fā)帖之星
日期:2015-06-13 22:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-09-22 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2015-12-08 06:20:00綜合交流區(qū)版塊每日發(fā)帖之星
日期:2016-02-02 06:20:00IT運(yùn)維版塊每日發(fā)帖之星
日期:2016-07-25 06:20:00
9 [報(bào)告]
發(fā)表于 2015-06-02 10:50 來自手機(jī) |只看該作者
跑虛擬機(jī)用power是最爽的了,因?yàn)樗鼉?nèi)存大,cpu也多,但它的缺點(diǎn)也相當(dāng)明顯,每個(gè)虛擬機(jī)的成本遠(yuǎn)高于單臺(tái)x86服務(wù)器,當(dāng)然性能也會(huì)差很多。不過小機(jī)不是干這個(gè)活兒的,小機(jī)的用途是滿足用戶對(duì)集中式系統(tǒng)依賴的,能拆成分布式的業(yè)務(wù)都不適合用小機(jī),所以從軟件上看powerlinux跟x86不存在競(jìng)爭(zhēng)關(guān)系,更不存在誰顛覆誰的問題。
您需要登錄后才可以回帖 登錄 | 注冊(cè)

本版積分規(guī)則 發(fā)表回復(fù)

  

北京盛拓優(yōu)訊信息技術(shù)有限公司. 版權(quán)所有 京ICP備16024965號(hào)-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號(hào):11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報(bào)專區(qū)
中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)會(huì)員  聯(lián)系我們:huangweiwei@itpub.net
感謝所有關(guān)心和支持過ChinaUnix的朋友們 轉(zhuǎn)載本站內(nèi)容請(qǐng)注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP