
平臺(tái) 論壇博客文庫(kù)

› 論壇 › IT運(yùn)維 › Hadoop和大數(shù)據(jù)技術(shù) › zookeeper使用

最近訪問(wèn)板塊

查看: 2414 | 回復(fù): 0

[Zookeeper] zookeeper使用 [復(fù)制鏈接]

sc5391

白手起家

論壇徽章:: 0

電梯直達(dá)

1樓 [收藏(0)] [報(bào)告]

發(fā)表于 2011-12-22 08:52 |只看該作者 |倒序?yàn)g覽

zookeeper
介紹 

zookeeper是一個(gè)為分布式應(yīng)用提供一致服務(wù)的軟件，它是開(kāi)源的
Hadoop項(xiàng)目中的一個(gè)子項(xiàng)目，并且根據(jù)
google發(fā)表的 《The Chubby lock service for loosely-coupled distributed systems》論文來(lái)實(shí)現(xiàn)的，接下來(lái)我們首先來(lái)安裝使用下這個(gè)軟件，然后再來(lái)探索下其中比較重要一致性算法。
  zookeeper安裝和使用 

zookeeper的安裝基本上可以按照 http://hadoop.apache.org/zookeeper/docs/current/zookeeperStarted.html 這個(gè)頁(yè)面上的步驟完成安裝，這里主要介紹下部署一個(gè)集群的步驟，因?yàn)檫@個(gè)官方頁(yè)面似乎講得并不是非常詳細(xì)
(Running Replicated Zookeeper)。 由于手頭機(jī)器不足，所以在一臺(tái)機(jī)器上部署了
3個(gè)
server,如果你手頭也比較緊，也可以這么做。那么我建了
3個(gè)文件夾，如下 

server1   server2   server3 


 
然后每個(gè)文件夾里面解壓一個(gè)
zookeeper的下載包，并且還建了幾個(gè)文件夾，總體結(jié)構(gòu)如下
,最后那個(gè)是下載過(guò)來(lái)壓縮包的解壓文件 


data dataLog logs zookeeper-3.3.3 

 
那么首先進(jìn)入
data目錄，創(chuàng)建一個(gè)
myid的文件，里面寫入一個(gè)數(shù)字，比如我這個(gè)是
server1,那么就寫一個(gè)
1，
server2對(duì)應(yīng)
myid文件就寫入
2，
server3對(duì)應(yīng)myid文件就寫個(gè)
3 

 然后進(jìn)入
zookeeper-3.3.3/conf
目錄，那么如果是剛下過(guò)來(lái)，會(huì)有
3個(gè)文件，
configuration.xml, log4j.properties,zoo_sample.cfg
,這
3個(gè)文件我們首先要做的就是在這個(gè)目錄創(chuàng)建一個(gè)
zoo.cfg的配置文件，當(dāng)然你可以把
zoo_sample.cfg文件改成
zoo.cfg，配置的內(nèi)容如下所示：


  tickTime=2000 
initLimit=5 
syncLimit=2 
dataDir=xxxx/zookeeper/server1/data 
dataLogDir=xxx/zookeeper/server1/dataLog 
clientPort=2181 


server.1=127.0.0.1:2888:3888 
server.2=127.0.0.1:2889:3889 
server.3=127.0.0.1:2890:3890 

 標(biāo)紅的幾個(gè)配置應(yīng)該官網(wǎng)講得很清楚了，只是需要注意的是
clientPort這個(gè)端口如果你是在
1臺(tái)機(jī)器上部署多個(gè)
server,那么每臺(tái)機(jī)器都要不同的
clientPort，比如我
server1是
2181,server2是
2182，
server3是
2183，
dataDir和
dataLogDir也需要區(qū)分下。
 最后幾行唯一需要注意的地方就是
server.X 這個(gè)數(shù)字就是對(duì)應(yīng)
data/myid中的數(shù)字。你在
3個(gè)
server的
myid文件中分別寫入了
1，
2，
3，那么每個(gè)
server中的
zoo.cfg都配
server.1,server.2,server.3就
OK了。因?yàn)樵谕慌_(tái)機(jī)器上，后面連著的
2個(gè)端口
3個(gè)
server都不要一樣，否則端口沖突，其中第一個(gè)端口用來(lái)集群成員的信息交換，第二個(gè)端口是在
leader掛掉時(shí)專門用來(lái)進(jìn)行選舉
leader所用。 


進(jìn)入
zookeeper-3.3.3/bin 目錄中，./zkServer.sh start


啟動(dòng)一個(gè)
server,這時(shí)會(huì)報(bào)大量錯(cuò)誤？其實(shí)沒(méi)什么關(guān)系，因?yàn)楝F(xiàn)在集群只起了
1臺(tái)
server，
zookeeper服務(wù)器端起來(lái)會(huì)根據(jù)
zoo.cfg的服務(wù)器列表發(fā)起選舉
leader的請(qǐng)求，因?yàn)檫B不上其他機(jī)器而報(bào)錯(cuò)，那么當(dāng)我們起第二個(gè)
zookeeper實(shí)例后，
leader將會(huì)被選出，從而一致**開(kāi)始可以使用，這是因?yàn)?lt;/span>
3臺(tái)機(jī)器只要有
2臺(tái)可用就可以選出
leader并且對(duì)外提供服務(wù)
(2n+1臺(tái)機(jī)器，可以容
n臺(tái)機(jī)器掛掉
)。 


接下來(lái)就可以使用了，我們可以先通過(guò)
zookeeper自帶的客戶端交互程序來(lái)簡(jiǎn)單感受下
zookeeper到底做一些什么事情。進(jìn)入
zookeeper-3.3.3/bin（
3個(gè)
server中任意一個(gè)）下，
./zkCli.sh –server 127.0.0.1:2182
,我連的是開(kāi)著
2182端口的機(jī)器。 那么，首先我們隨便打個(gè)命令，因?yàn)?lt;/span>
zookeeper不認(rèn)識(shí)，他會(huì)給出命令的
help,如下圖


   
   <img src="http://www.blogjava.net/images/blogjava_net/bucketli/dddd.jpg" alt="" border="0"> ls(查看當(dāng)前節(jié)點(diǎn)數(shù)據(jù)
), 
ls2(查看當(dāng)前節(jié)點(diǎn)數(shù)據(jù)并能看到更新次數(shù)等數(shù)據(jù)
) , 
create(創(chuàng)建一個(gè)節(jié)點(diǎn)
) , 
get(得到一個(gè)節(jié)點(diǎn)，包含數(shù)據(jù)和更新次數(shù)等數(shù)據(jù)
), 
set(修改節(jié)點(diǎn)
) 
delete(刪除一個(gè)節(jié)點(diǎn)
) 
 通過(guò)上述命令實(shí)踐，我們可以發(fā)現(xiàn)，
zookeeper使用了一個(gè)類似文件系統(tǒng)的樹(shù)結(jié)構(gòu)，數(shù)據(jù)可以掛在某個(gè)節(jié)點(diǎn)上，可以對(duì)這個(gè)節(jié)點(diǎn)進(jìn)行刪改。另外我們還發(fā)現(xiàn)，當(dāng)改動(dòng)一個(gè)節(jié)點(diǎn)的時(shí)候，集群中活著的機(jī)器都會(huì)更新到一致的數(shù)據(jù)。
 

 zookeeper
的數(shù)據(jù)模型 


在簡(jiǎn)單使用了
zookeeper之后，我們發(fā)現(xiàn)其數(shù)據(jù)模型有些像操作系統(tǒng)的文件結(jié)構(gòu)，結(jié)構(gòu)如下圖所示 


<img src="http://www.blogjava.net/images/blogjava_net/bucketli/XX.jpg" alt="" border="0"> (1)     
每個(gè)節(jié)點(diǎn)在
zookeeper中叫做
znode,并且其有一個(gè)唯一的路徑標(biāo)識(shí)，如
/SERVER2節(jié)點(diǎn)的標(biāo)識(shí)就為
/APP3/SERVER2 
(2)     
Znode可以有子
znode，并且
znode里可以存數(shù)據(jù)，但是
EPHEMERAL類型的節(jié)點(diǎn)不能有子節(jié)點(diǎn) 
(3)     
Znode中的數(shù)據(jù)可以有多個(gè)版本，比如某一個(gè)路徑下存有多個(gè)數(shù)據(jù)版本，那么查詢這個(gè)路徑下的數(shù)據(jù)就需要帶上版本。 
(4)     
znode 可以是臨時(shí)節(jié)點(diǎn)，一旦創(chuàng)建這個(gè)
znode 的客戶端與服務(wù)器失去聯(lián)系，這個(gè)
znode 也將自動(dòng)刪除，
Zookeeper 的客戶端和服務(wù)器通信采用長(zhǎng)連接方式，每個(gè)客戶端和  服務(wù)器通過(guò)心跳來(lái)保持連接，這個(gè)連接狀態(tài)稱為
session，如果
znode 是臨時(shí)節(jié)點(diǎn)，這個(gè)
session 失效，
znode 也就刪除了 
(5)     
znode 的目錄名可以自動(dòng)編號(hào)，如
App1 已經(jīng)存在，再創(chuàng)建的話，將會(huì)自動(dòng)命名為
App2  
(6)     
znode 可以被監(jiān)控，包括這個(gè)目錄節(jié)點(diǎn)中存儲(chǔ)的數(shù)據(jù)的修改，子節(jié)點(diǎn)目錄的變化等，一旦變化可以通知設(shè)置監(jiān)控的客戶端，這個(gè)功能是
zookeeper對(duì)于應(yīng)用最重要的特性，通過(guò)這個(gè)特性可以實(shí)現(xiàn)的功能包括配置的集中管理，集群管理，分布式鎖等等。

返回列表

Chinaunix › 論壇 › IT運(yùn)維 › Hadoop和大數(shù)據(jù)技術(shù) › zookeeper使用

積分 0, 距離下一級(jí)還需積分

亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

[Zookeeper] zookeeper使用 [復(fù)制鏈接]