【大話IT】互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用：PowerLinux能巔覆x86性能嗎？

z109605749

1、大數(shù)據(jù)分析的瓶頸，性能是主要，運算速度慢
2、優(yōu)化方法加入緩存策略，現(xiàn)在的不足之處就在于還需要進行緩存策略的不斷優(yōu)化
3、首先會選擇大品牌，其次就是要考慮我的實際應(yīng)用場景，如何盡可能最大化使用服務(wù)器各個組件的整體性能
4、暫時不會遷移

areece

形勢比人強。powerlinux如果要我說，只有一條慢慢死的路，它可能會比快快死的路會看起來好一點，但是套用一句現(xiàn)在網(wǎng)上流行的話來講，就是然并卵。

現(xiàn)在的問題不是這個普通的通用服務(wù)器上powerlinux來搶x86的地盤，而是power還在保住它的傳統(tǒng)地盤多長時間的問題。這無關(guān)技術(shù)，無論ibm有多強的CPU設(shè)計能力都無關(guān)結(jié)局。

limit001g

1、您在使用大數(shù)據(jù)分析時，碰到過哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫之間的連接等等？
數(shù)據(jù)量的指數(shù)級增長對存儲空間要求越來大，實時分析海量的數(shù)據(jù)對計算能力要求越來越高；數(shù)據(jù)龐大，對數(shù)據(jù)庫的要求更高，使得數(shù)據(jù)庫出現(xiàn)性能瓶頸；用戶的應(yīng)用和分析結(jié)果呈整合趨勢，對實時性和響應(yīng)時間要求越來越高；
由于存在上面這些困擾和挑戰(zhàn)，具體到硬件層面，在各個層面都會有一定的壓力，并且在高可用性能方面的瓶頸更為突出。
2、為提高Hadoop、NoSQL、MongoDB的性能，您一般會采用什么樣的方法？現(xiàn)有的方法還存在哪些不足？
使用排序 ：分清任務(wù)的重要性，優(yōu)先級高的先執(zhí)行。
使用多線程：分解任務(wù)和數(shù)據(jù)，充分利用CPU的多核心多線程。
使用多個數(shù)據(jù)庫 。將不同的線程結(jié)果輸出至不同的數(shù)據(jù)庫，避免線程之間的相互等待。
現(xiàn)有的方法存在的不足：算法模型越來越復(fù)雜，對計算的要求越來越高。
3、在部署大數(shù)據(jù)方案時，您是如何進行IT硬件選型的，主要會考慮哪些因素？
統(tǒng)一規(guī)劃、技術(shù)領(lǐng)先、成本適中、品牌影響力、成功案例
4、對于IBM推出的上述大數(shù)據(jù)方案，您是否會考慮遷移測試？為什么？
不考慮遷移測試, 如果遷移測試，將面臨諸多風(fēng)險：
對IBM的大數(shù)據(jù)方案不熟悉,可能導(dǎo)致遷移失敗。
遷移測試的成本比較高,需要耗費精力來做這件事情，遷移之后不好用，還需要再次遷移回來。
遷移之后系統(tǒng)運行是否穩(wěn)定、是否會出現(xiàn)未知問題等等并且在遷移測試過程中,還可能面臨系統(tǒng)運行是否穩(wěn)定等各種問題

hiyachen

1、您在使用大數(shù)據(jù)分析時，碰到過哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫之間的連接等等？
     大數(shù)據(jù)首先面對的是數(shù)據(jù)量的級數(shù)增加。硬件方面需要解決網(wǎng)絡(luò)傳輸即（iops）、計算能力、緩存服務(wù)器的選擇。
     目前在搭建云平臺，用虛擬技術(shù)，解決網(wǎng)絡(luò)分布式的問題。及數(shù)據(jù)庫第三方代理審計。和監(jiān)控Zabbix。

2、為提高Hadoop、NoSQL、MongoDB的性能，您一般會采用什么樣的方法？現(xiàn)有的方法還存在哪些不足？
     優(yōu)化Hadoop二次開發(fā)。
     網(wǎng)絡(luò)拓撲優(yōu)化、數(shù)據(jù)ETL優(yōu)化。及OS級的資源分配。
     SAN的存儲性能上不來。fio測試結(jié)果不理想。下部從服務(wù)器硬件、網(wǎng)絡(luò)交換機等考慮。

3、在部署大數(shù)據(jù)方案時，您是如何進行IT硬件選型的，主要會考慮哪些因素？
     操作系統(tǒng)和硬件的適配，國產(chǎn)安全級操作系統(tǒng)四級以上。硬件宕機、亮燈。硬件審計不好的，都不推薦的。

4、對于IBM推出的上述大數(shù)據(jù)方案，您是否會考慮遷移測試？為什么？
    會的，但安全級別和存儲機制需要首先和充分測試。

小尾巴魚

回復(fù) 24# fengzhanhai


俺是小人物哈。

很看好你啊，博客見證了你的快速成長，相信在這個新的公司在這個數(shù)據(jù)分析的領(lǐng)域你也可以快速變身。

加油！北上廣的技術(shù)發(fā)展雖快，但更相信山東人杰地靈更好的平臺與發(fā)展速度能夠更好的成就你。

小尾巴魚

minicooperrrm 發(fā)表于 2015-06-02 11:03
1、您在使用大數(shù)據(jù)分析時，碰到過哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性 ...

學(xué)習(xí)啦，很受用

小尾巴魚

zhaopingzi 發(fā)表于 2015-06-03 10:26
1、您在使用大數(shù)據(jù)分析時，碰到過哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性 ...

給了我不一樣的思路也是很有道理的

uuu333e

1、您在使用大數(shù)據(jù)分析時，碰到過哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫之間的連接等等？
硬件基本能滿足，數(shù)據(jù)收集分類
2、為提高Hadoop、NoSQL、MongoDB的性能，您一般會采用什么樣的方法？現(xiàn)有的方法還存在哪些不足？
沒有包括我使用的數(shù)據(jù)庫
3、在部署大數(shù)據(jù)方案時，您是如何進行IT硬件選型的，主要會考慮哪些因素？
穩(wěn)定性及性價比吧
4、對于IBM推出的上述大數(shù)據(jù)方案，您是否會考慮遷移測試？為什么？
暫不

uuu333e

PowerLinux能巔覆x86性能嗎？

也有興趣了解一下是如何顛覆的

艱苦奮斗989

1、您在使用大數(shù)據(jù)分析時，碰到過哪些困擾和挑戰(zhàn)？具體到硬件層面，您在系統(tǒng)性能、拓展性、穩(wěn)定性、高可用性等方面是否碰到瓶頸, 數(shù)據(jù)庫之間的連接等等？
     數(shù)據(jù)量不斷增加，對于擴大機器數(shù)量的預(yù)計與部署

2、為提高Hadoop、NoSQL、MongoDB的性能，您一般會采用什么樣的方法？現(xiàn)有的方法還存在哪些不足？
開發(fā)，主要是有好的管理

3、在部署大數(shù)據(jù)方案時，您是如何進行IT硬件選型的，主要會考慮哪些因素？
適配、遷移的的易操作性

4、對于IBM推出的上述大數(shù)據(jù)方案，您是否會考慮遷移測試？為什么？
   會考慮測試，遷移需要考慮多方面的因素