企業(yè)如何建立高效、靈活、擴(kuò)展的數(shù)據(jù)存儲環(huán)境？（獲獎名單已公布2013-2-26）

xike2002

可以采用目前廣泛使用的RAID技術(shù)：
磁盤陣列（Redundant Arrays of Inexpensive Disks，RAID），有“價格便宜具有冗余能力的磁盤陣列”之意。原理是利用數(shù)組方式來作磁盤組，配合數(shù)據(jù)分散排列的設(shè)計，提升數(shù)據(jù)的安全性。磁盤陣列是由很多價格較便宜的磁盤，組合成一個容量巨大的磁盤組，利用個別磁盤提供數(shù)據(jù)所產(chǎn)生加成效果提升整個磁盤系統(tǒng)效能。利用這項技術(shù)，將數(shù)據(jù)切割成許多區(qū)段，分別存放在各個硬盤上。磁盤陣列還能利用同位檢查（Parity Check）的觀念，在數(shù)組中任一顆硬盤故障時，仍可讀出數(shù)據(jù)，在數(shù)據(jù)重構(gòu)時，將數(shù)據(jù)經(jīng)計算后重新置入新硬盤中。
優(yōu)點：
提高傳輸速率。RAID通過在多個磁盤上同時存儲和讀取數(shù)據(jù)來大幅提高存儲系統(tǒng)的數(shù)據(jù)吞吐量（Throughput）。在RAID中，可以讓很多磁盤驅(qū)動器同時傳輸數(shù)據(jù)，而這些磁盤驅(qū)動器在邏輯上又是一個磁盤驅(qū)動器，所以使用RAID可以達(dá)到單個磁盤驅(qū)動器幾倍、幾十倍甚至上百倍的速率。這也是RAID最初想要解決的問題。因為當(dāng)時CPU的速度增長很快，而磁盤驅(qū)動器的數(shù)據(jù)傳輸速率無法大幅提高，所以需要有一種方案解決二者之間的矛盾。RAID最后成功了。
通過數(shù)據(jù)校驗提供容錯功能。普通磁盤驅(qū)動器無法提供容錯功能，如果不包括寫在磁盤上的CRC（循環(huán)冗余校驗）碼的話。RAID容錯是建立在每個磁盤驅(qū)動器的硬件容錯功能之上的，所以它提供更高的安全性。在很多RAID模式中都有較為完備的相互校驗/恢復(fù)的措施，甚至是直接相互的鏡像備份，從而大大提高了RAID系統(tǒng)的容錯度，提高了系統(tǒng)的穩(wěn)定冗余性。

lerner2002

首先需要看用戶的應(yīng)用場景，現(xiàn)在無外乎三種：（1）結(jié)構(gòu)化數(shù)據(jù)，也就是咱們一般傳統(tǒng)上的關(guān)系型數(shù)據(jù)庫，一般在線交易系統(tǒng)產(chǎn)生這種數(shù)據(jù)較多；（2）非結(jié)構(gòu)化數(shù)據(jù)，一般式音視頻、圖片等居多；一般媒體機(jī)構(gòu)產(chǎn)生這種數(shù)據(jù)較多（3）半結(jié)構(gòu)化數(shù)據(jù)，也就是結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)混合體，例如社交網(wǎng)站上的音視頻、圖片文件（非結(jié)構(gòu)化）和它們的描述、討論等信息（結(jié)構(gòu)化）；

對于結(jié)構(gòu)化數(shù)據(jù)，這類數(shù)據(jù)主要的特點就是數(shù)據(jù)體積不大，但是數(shù)據(jù)價值高、數(shù)據(jù)表比較多，而且需要經(jīng)常做關(guān)聯(lián)操作，因此這類數(shù)據(jù)要求系統(tǒng)系統(tǒng)穩(wěn)定性高，處理速度快，具有分析的功能，能給決策人士提供數(shù)據(jù)分析支持。而這一塊發(fā)展的歷史最為悠久，市場比較成熟，主要由幾個數(shù)據(jù)庫的巨頭公司IBM、Oracle等廠商所把持，它們一般提供軟硬一體化解決方面，比如Oracle的Exadata、IBM的PureDATA等，也有一些數(shù)據(jù)倉儲軟件產(chǎn)品，比如EMC的GreenPlum以及Teradata等。

目前結(jié)構(gòu)化數(shù)據(jù)的發(fā)展非常迅速，主要是互聯(lián)網(wǎng)發(fā)展非常塊，積累了大量的非結(jié)構(gòu)數(shù)據(jù)（音視頻、圖片等），而它們的壓縮比都很低，導(dǎo)致它們所需的存儲空間非常大，傳統(tǒng)SAN存儲網(wǎng)絡(luò)已經(jīng)不能滿足需求，因此各種以分布式文件系統(tǒng)（HDFS、GFS、GlusterFS等）為基礎(chǔ)的集群NAS產(chǎn)品迅速發(fā)展起來，這些文件系統(tǒng)可以基于廉價的PC服務(wù)器迅速搭建起來，可以提供海量的數(shù)據(jù)存儲空間，和極高的數(shù)據(jù)可靠性，以及極佳的擴(kuò)展性和性價比。目前很多的PC服務(wù)器可以實現(xiàn)單機(jī)24-48個硬盤位，軟硬件基礎(chǔ)都已經(jīng)具備了，因此集群NAS系統(tǒng)發(fā)展非常迅速。例如：蘋果公司的iCloud背后就是采用EMC公司的集群NAS系統(tǒng)isilon搭建的，數(shù)據(jù)規(guī)模達(dá)到12PB。

從現(xiàn)實情況來看，半結(jié)構(gòu)化數(shù)據(jù)的發(fā)展最為迅猛，主要是移動互聯(lián)網(wǎng)的發(fā)展非常塊，人手一部智能手機(jī)，人人都是新聞中心，隨時隨地都可以發(fā)布信息。而這些信息基本上都是半結(jié)構(gòu)化數(shù)據(jù)（音視頻、圖片+描述、評論等等），這些信息不僅可以滿足海量非結(jié)構(gòu)數(shù)據(jù)的存儲，還提供需要各種結(jié)構(gòu)化數(shù)據(jù)從存儲分析工具（ETL）。因此除了需要DFS系統(tǒng)，還需要在此之上提供各種ETL工具（HIVE、HBASE等)。

其實企業(yè)可以根據(jù)自身的財力，人力以及需求進(jìn)行選擇對應(yīng)的產(chǎn)品，成熟穩(wěn)定的產(chǎn)品固然好用，但是價格太昂貴了，而且后期維護(hù)費用很高，而開源的產(chǎn)品雖然免費，但是需要專業(yè)的人員進(jìn)行深入了解，并可能進(jìn)行二次開發(fā)，不過這個過程可以幫助企業(yè)積累很多知識，儲備很多專業(yè)人才。一般在IT開支有限的情況下，基于開源的Hadoop系統(tǒng)搭建大型的分布式存儲系統(tǒng)，也有很多小型企業(yè)采用開源NAS存儲系統(tǒng)FreeNAS構(gòu)建企業(yè)共享存儲系統(tǒng)。

gnah

hadoop的HBase
mongo的GridFs都是不錯的選擇

xleefox

小弟我小企業(yè)待待，真沒法從大的層面上說這個問題。我覺得數(shù)據(jù)永遠(yuǎn)是無價的，但企業(yè)也更追求投資回報率。
不同的階段有不同的需求�，F(xiàn)在你投得再多，可能三年后也覺得這設(shè)備落伍，性能低了之類，所擴(kuò)展性很重要，或者說數(shù)據(jù)遷移要比較方便。
例如，我現(xiàn)在ESXI 上的虛似機(jī)都是存在NAS上，后期性能上跟不上，我可以很靈活的將部份VM進(jìn)行遷移。
可靠性，數(shù)據(jù)沒了太可怕，因此那些花錢可能看不到效果的事來了，備份怎么做，我在異地機(jī)房放了臺廉價胡NAS，每周對關(guān)鍵數(shù)據(jù)使用腳本備份一次。

我說的可能都沒有太說到點上，但這是我現(xiàn)在做的。希望大家指正。還有就是本子發(fā)本給我做一下日志用吧。

a7pufap

數(shù)據(jù)從未完全,一個好的數(shù)據(jù)結(jié)構(gòu),所見即所得.

liujunwei1234

大數(shù)據(jù)領(lǐng)域，hadoop和hdfs在未來幾年應(yīng)該還是主流，不過一些商業(yè)版的分布式文件系統(tǒng)也開始發(fā)力了，比如redhat的gluster。另外，彈性塊存儲是一個很不錯的方向，尤其是開源的sheepdog和ceph，肯定是會產(chǎn)生大量的就業(yè)職位。

pitonas

急需找到一種新的壓縮技術(shù)解決這些存儲難題

wang_xue_m

回復(fù) 4# shang2010


    說他的優(yōu)點，盡量不要說缺點啊�。�！

linux_c_py_php

終將有一個變革, 高效海量的存儲將成為普遍.

a505887004

關(guān)注中啊~~~~~~~~~