NoSQL層出不窮，如何學(xué)習(xí)及選擇NoSQL？

馬編輯

好活動(dòng)，支持支持。

yizuwei520

從來沒有接觸過這東西，也沒有聽說過，但既然說出來了，也就肯定有存在的價(jià)值。

wang290

send_linux 發(fā)表于 2014-12-17 14:31
大數(shù)據(jù)技術(shù)在近幾年發(fā)展十分迅速，在互聯(lián)網(wǎng)公司以及傳統(tǒng)公司都得到了廣泛的應(yīng)用。NoSQL一直伴隨著大數(shù)據(jù)技術(shù) ...

NoSQL現(xiàn)在確實(shí)很多了，但是不是所有的業(yè)務(wù)都適合，這個(gè)大家都清楚

而且不同的NoSQL解決的問題完全不一樣

RDS加NoSQL才是大部分?jǐn)?shù)據(jù)庫問題的解決之道

wang290

action08 發(fā)表于 2014-12-17 18:53
建議了解一下，也是互聯(lián)網(wǎng)技術(shù)的一個(gè)小變革，以前很火的

對(duì)數(shù)據(jù)庫這個(gè)行業(yè)來說，NoSQL還是很革命性的吧

不是小變革哦，可以說是大數(shù)據(jù)技術(shù)的基礎(chǔ)

send_linux

蘇州微信 發(fā)表于 2014-12-20 17:21
NoSql是一個(gè)好東西。之前和朋友寫了一個(gè)nosql的client，感覺nosql真的很強(qiáng)大。
特別處理海量數(shù)據(jù)和快速訪問 ...

兄弟的ID有廣告嫌疑哦

陌路巨額投入

（1）大數(shù)據(jù)技術(shù)有哪些？它們和NoSQL的關(guān)系是什么？

     以前學(xué)習(xí)的時(shí)候總結(jié)過。。個(gè)人覺得有四方面：
1.跨粒度計(jì)算(In-DatabaseComputing)Z-Suite支持各種常見的匯總，還支持幾乎全部的專業(yè)統(tǒng)計(jì)函數(shù)。得益于跨粒度計(jì)算技術(shù)，尋出最優(yōu)化的計(jì)算方案，繼而把所有開銷較大的、昂貴的計(jì)算都移動(dòng)到數(shù)據(jù)存儲(chǔ)的地方直接計(jì)算，我們稱之為庫內(nèi)計(jì)算(In-Database)。這一技術(shù)大大減少了數(shù)據(jù)移動(dòng)，降低了通訊負(fù)擔(dān)，保證了高性能數(shù)據(jù)分析。
2.并行計(jì)算(MPP Computing)能夠把計(jì)算分布到多個(gè)計(jì)算節(jié)點(diǎn)，再在指定節(jié)點(diǎn)將計(jì)算結(jié)果匯總輸出。Z-Suite能夠充分利用各種計(jì)算和存儲(chǔ)資源，不管是服務(wù)器還是普通的PC，她對(duì)網(wǎng)絡(luò)條件也沒有嚴(yán)苛的要求。。
3.列存儲(chǔ) (Column-Based)Z-Suite是列存儲(chǔ)的�；�于列存儲(chǔ)的數(shù)據(jù)集市，不讀取無關(guān)數(shù)據(jù)，能降低讀寫開銷，同時(shí)提高I/O 的效率，從而大大提高查詢性能。另外，列存儲(chǔ)能夠更好地壓縮數(shù)據(jù)，一般壓縮比在5 -10倍之間，這樣一來，數(shù)據(jù)占有空間降低到傳統(tǒng)存儲(chǔ)的1/5到1/10 。良好的數(shù)據(jù)壓縮技術(shù)，節(jié)省了存儲(chǔ)設(shè)備和內(nèi)存的開銷，卻大大了提升計(jì)算性能。
4.內(nèi)存計(jì)算得益于列存儲(chǔ)技術(shù)和并行計(jì)算技術(shù)。一般地，內(nèi)存訪問速度比磁盤訪問速度要快幾百倍甚至上千倍。通過內(nèi)存計(jì)算，CPU直接從內(nèi)存而非磁盤上讀取數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行計(jì)算。內(nèi)存計(jì)算是對(duì)傳統(tǒng)數(shù)據(jù)處理方式的一種加速，是實(shí)現(xiàn)大數(shù)據(jù)分析的關(guān)鍵應(yīng)用技術(shù)。

（2）NoSQL興起的原因是什么？有哪些主要的類型？這些類型NoSQL的特點(diǎn)是什么？

    興起原因：由于我們需要處理的數(shù)據(jù)集越來越大，其存儲(chǔ)量已經(jīng)遠(yuǎn)遠(yuǎn)超過了單機(jī)的容量，數(shù)據(jù)處理的需求也遠(yuǎn)遠(yuǎn)超過了單機(jī)CPU的運(yùn)算能力。所以我們需要分布式的解決方案。對(duì)數(shù)據(jù)提供速度的要求越來越高，很多應(yīng)用場景需要數(shù)據(jù)層提供更高的寫性能和數(shù)據(jù)吞吐。比如日志型應(yīng)用，對(duì)寫性能的要求可能非常高，當(dāng)寫性能成為瓶頸時(shí)，通常我們很難難過升級(jí)單機(jī)配置來解決。所以分布式的需求在這里變得也很重要。
類型：
1.鍵-值對(duì)數(shù)據(jù)庫
       具備高度可擴(kuò)展性，但卻無法幫助開發(fā)人員順暢處理復(fù)雜數(shù)據(jù)集。如果大家需要進(jìn)行磁盤備份、分布式散列表并通過一致性對(duì)數(shù)據(jù)內(nèi)容加以檢查，那么上述方案既具備良好的規(guī)�；�能力、又能提供出色的處理速度。
2.列族/大表數(shù)據(jù)庫
      以HBase為代表的某些數(shù)據(jù)庫則從開發(fā)之初就以列族作為設(shè)計(jì)思路。這是鍵-值數(shù)據(jù)庫的一種更為先進(jìn)的表現(xiàn)形式。數(shù)據(jù)的產(chǎn)生速度通常非常之快，而且往往一次性來自多個(gè)位置、增長幅度驚人，需要出色的寫入能力以及以時(shí)間片段為基礎(chǔ)的高性能讀取配。
3.文檔數(shù)據(jù)庫
      非常適合面向?qū)ο笮途幊�。這些數(shù)據(jù)并不一定都是以報(bào)告的形式出現(xiàn)，但MongoDB等方案通常也會(huì)包含一定程度的MapReduce功能。至少在MongoDB當(dāng)中，大家可以對(duì)任何內(nèi)容加以查詢，而且即使不借助索引機(jī)制也不至于出現(xiàn)我們無法接受的性能問題。
4.圖形數(shù)據(jù)庫
     不太關(guān)注數(shù)據(jù)規(guī)模或者可用性，而主要針對(duì)我們的數(shù)據(jù)之間存在怎樣的相關(guān)性以及用戶需要如何執(zhí)行計(jì)算任務(wù)。圖形數(shù)據(jù)庫往往與索引機(jī)制緊密相連、從而實(shí)現(xiàn)更理想的搜索與查找效果，但圖形部分必須經(jīng)過遍歷;對(duì)于這一點(diǎn)，大家需要在一部分初始節(jié)點(diǎn)上加以修正。

jieforest

不錯(cuò)的活動(dòng)

（1）大數(shù)據(jù)技術(shù)有哪些？它們和NoSQL的關(guān)系是什么？
先回答第二問。大數(shù)據(jù)技術(shù)指的是對(duì)海量的結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行提取、管理、處理、分析、存儲(chǔ)等的技術(shù)。所以大數(shù)據(jù)技術(shù)和NoSQL的關(guān)系是包含關(guān)系。NoSQL技術(shù)主要是面向結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)和管理的技術(shù)。所以NoSQL只是大數(shù)據(jù)的一個(gè)方面，大數(shù)據(jù)技術(shù)中，涉及存儲(chǔ)的還可以是關(guān)系數(shù)據(jù)庫，以及分布式文件系統(tǒng)等。
大數(shù)據(jù)技術(shù)很多，占據(jù)主流地位的大數(shù)據(jù)技術(shù)有：Hadoop、Storm、Spark等，它們又是由很多更具體的技術(shù)所組成。
比如組成Hadoop大數(shù)據(jù)平臺(tái)的技術(shù)有：HDFS、YARN、MapReduce、Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Tez、ZooKeeper等。

（2）NoSQL興起的原因是什么？有哪些主要的類型？這些類型NoSQL的特點(diǎn)是什么？
主要還是因?yàn)閃eb 2.0時(shí)代的到來，關(guān)系數(shù)據(jù)庫越來越不能滿足互聯(lián)網(wǎng)應(yīng)用的需求，導(dǎo)致了NoSQL的興起。這些需求包括：
1）數(shù)據(jù)的高并發(fā)讀寫
2）數(shù)據(jù)的高可用性
3）海量數(shù)據(jù)存儲(chǔ)
4）海量數(shù)據(jù)的實(shí)時(shí)分析
NoSQL的主要類型包括：
1）文檔型數(shù)據(jù)庫
特點(diǎn)：面向集合存儲(chǔ)，模式自由，使用高效的二進(jìn)制數(shù)據(jù)存儲(chǔ)等。
2）鍵值存儲(chǔ)數(shù)據(jù)庫
特點(diǎn)：以鍵為索引的存儲(chǔ)方式，訪問速度極快。
3）圖數(shù)據(jù)庫
特點(diǎn)：以節(jié)點(diǎn)/關(guān)系/屬性為基礎(chǔ)存儲(chǔ)數(shù)據(jù)，善于處理大量復(fù)雜、互連接、低結(jié)構(gòu)化的數(shù)據(jù)。
4）列式數(shù)據(jù)庫
特點(diǎn)：以列相關(guān)存儲(chǔ)架構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ)，適合于批量數(shù)據(jù)處理和即席查詢。
5）內(nèi)存數(shù)據(jù)庫
特點(diǎn)：將數(shù)據(jù)放在內(nèi)存中直接操作，數(shù)據(jù)處理速度比傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)處理速度要快很多。

（3）每種NoSQL有什么代表性的開源系統(tǒng)？其主要適合什么樣的場景？
1）文檔型數(shù)據(jù)庫
代表：MongoDB、CouchDB、CouchBase、MarkLogic、Clusterpoint
應(yīng)用場景：適用于數(shù)據(jù)變化較少，執(zhí)行預(yù)定義查詢，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)的應(yīng)用程序。適用于需要提供數(shù)據(jù)版本支持的應(yīng)用程序。
2）鍵值存儲(chǔ)數(shù)據(jù)庫
代表：Dynamo、FoundationDB、MemcacheDB、Redis、Riak、Aerospike
應(yīng)用場景：高讀取、快速檢索。
3）圖數(shù)據(jù)庫
代表：Neo4j、OrientDB、ArangoDB、MapGraph
應(yīng)用場景：社會(huì)關(guān)系，公共交通網(wǎng)絡(luò)，地圖及網(wǎng)絡(luò)拓譜。
4）列式數(shù)據(jù)庫
代表：Cassandra、HBase、Accumulo、Druid、Vertica
應(yīng)用場景：適合于批量數(shù)據(jù)處理和即席查詢。
5）內(nèi)存數(shù)據(jù)庫
代表：Redis、Membase
應(yīng)用場景：適用于數(shù)據(jù)變化快且數(shù)據(jù)庫大小可遇見(適合內(nèi)存容量)的應(yīng)用程序。

（4）如果需要自己構(gòu)建一個(gè)NoSQL系統(tǒng)，主要需要考慮哪些核心問題？
首先確定適用的應(yīng)用場景，功能大而全是不現(xiàn)實(shí)的。
其次根據(jù)應(yīng)用場景確定存儲(chǔ)方式。
選擇存儲(chǔ)引擎，是自行開發(fā)還是借用開源引擎。
再次是設(shè)計(jì)訪問協(xié)議，一般是基于TCP基礎(chǔ)上的自定義協(xié)議。
接著是開發(fā)管理系統(tǒng)，提供NoSQL數(shù)據(jù)庫的基本管理功能。
再次是編寫各種語言的驅(qū)動(dòng)包。
最后是提供客戶端GUI工具。