HBase介紹

wang290

HBase介紹  

2011-07-19 11:38:32|  分類： 開源數(shù)據(jù)庫 |字號 訂閱

HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于Chang et al所撰寫的Google論文"Bigtable：一個結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)"。就像Bigtable利用了Google文件系統(tǒng)（File System）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關(guān)系數(shù)據(jù)庫,它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫.另一個不同的是HBase基于列的而不是基于行的模式。

　HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。

HBase是Google Bigtable的開源實現(xiàn)，類似Google Bigtable利用GFS作為其文件存儲系統(tǒng)，HBase利用Hadoop HDFS作為其文件存儲系統(tǒng)；Google運行MapReduce來處理Bigtable中的海量數(shù)據(jù)，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù)；Google Bigtable利用 Chubby作為協(xié)同服務(wù)，HBase利用Zookeeper作為對應(yīng)。

圖描述了Hadoop EcoSystem中的各層系統(tǒng)，其中HBase位于結(jié)構(gòu)化存儲層，Hadoop HDFS為HBase提供了高可靠性的底層存儲支持，Hadoop MapReduce為HBase提供了高性能的計算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機制。

　　此外，Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進行數(shù)據(jù)統(tǒng)計處理變的非常簡單。 Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase中遷移變的非常方便。









HBase訪問接口

　　1. Native Java API，最常規(guī)和高效的訪問方式，適合Hadoop MapReduce Job并行批處理HBase表數(shù)據(jù)

　　2. HBase Shell，HBase的命令行工具，最簡單的接口，適合HBase管理使用

　　3. Thrift Gateway，利用Thrift序列化技術(shù)，支持C++，PHP，Python等多種語言，適合其他異構(gòu)系統(tǒng)在線訪問HBase表數(shù)據(jù)

　　4. REST Gateway，支持REST 風(fēng)格的Http API訪問HBase, 解除了語言限制

　　5. Pig，可以使用Pig Latin流式編程語言來操作HBase中的數(shù)據(jù)，和Hive類似，本質(zhì)最終也是編譯成MapReduce Job來處理HBase表數(shù)據(jù)，適合做數(shù)據(jù)統(tǒng)計

　　6. Hive，當(dāng)前Hive的Release版本尚沒有加入對HBase的支持，但在下一個版本Hive 0.7.0中將會支持HBase，可以使用類似SQL語言來訪問HBase

　  

HBase存儲格式

　　HBase中的所有數(shù)據(jù)文件都存儲在Hadoop HDFS文件系統(tǒng)上，主要包括上述提出的兩種文件類型：

　　1. HFile， HBase中KeyValue數(shù)據(jù)的存儲格式，HFile是Hadoop的二進制格式文件，實際上StoreFile就是對HFile做了輕量級包裝，即StoreFile底層就是HFile

　　2. HLog File，HBase中WAL（Write Ahead Log） 的存儲格式，物理上是Hadoop的Sequence File



HBase學(xué)習(xí)網(wǎng)址

1.官網(wǎng)：http://hbase.apache.org/

2.Hadoop：http://hadoop.apache.org/

3.OSchina：http://www.oschina.net/p/hbase/

4.Hadoop wiki：http://wiki.apache.org/hadoop/Hbase

5.http://www.tbdata.org/archives/1509

6.http://blog.nosqlfan.com/tags/hbase

7.http://www.searchtb.com/2011/01/understanding-hbase.html

8.http://en.wikipedia.org/wiki/HBase

9.http://rdc.taobao.com/team/jm/archives/975

10.https://ccp.cloudera.com/display/CDHDOC/HBase+Installation

chenweiming507

您好，我是hbase的新手，看到你寫的hbase介紹，我是受益很大。謝謝