通過(guò)Docker快速部署啟動(dòng)Apache Hadoop及Cloudera

278315192

本文來(lái)源：Ghostcloud原創(chuàng)

玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM，但是大家可能還不知道，Docker也可以作為快速啟動(dòng)項(xiàng)來(lái)部署啟動(dòng)Apache Hadoop和Cloudera，而且速度要比其他啟動(dòng)方式更快。
1.png





說(shuō)到QuickStart VM，大家可能都很熟了，從本質(zhì)上來(lái)說(shuō)QuickStart VM就是一個(gè)包含了分布式數(shù)據(jù)處理平臺(tái)的虛擬鏡像。一開(kāi)始的時(shí)候QuickStart VM只是一個(gè)demo環(huán)境，但后來(lái)發(fā)展得很火，用途也變得非常廣，不管是開(kāi)發(fā)人員，客戶，還是合作企業(yè)，很多都在用QuickStart VM。我總結(jié)了一下，現(xiàn)在QuickStart VM的用途主要是在這幾個(gè)方面：

·方便用戶試運(yùn)行CDH，并了解CDH的新功能、新組件
·因?yàn)榭梢院芊奖愕夭渴餒adoop，所以經(jīng)常被新手拿來(lái)練手
·用來(lái)做持續(xù)集成、API測(cè)試等等
·用戶有新想法或者新應(yīng)用的時(shí)候，可以用QuickStart VM做模擬運(yùn)行環(huán)境
·用戶可以把自己的軟件部署在QuickStart VM里面進(jìn)行演示

QuickStart VM包括VMware、VirtualBox、KVM（這個(gè)可以作為磁盤(pán)鏡像來(lái)用）幾個(gè)類別，當(dāng)然還有其他一些格式，這幾種虛擬化平臺(tái)都是早就開(kāi)放給大家使用了。不過(guò)隨著Docker之類的容器技術(shù)越來(lái)越火，很多運(yùn)維人員都開(kāi)始嘗試用新技術(shù)來(lái)替代傳統(tǒng)的VM鏡像，讓?xiě)?yīng)用的部署更簡(jiǎn)便。

在這種情況下，Cloudera QuickStart Docker鏡像就應(yīng)運(yùn)而生了。對(duì)于Docker用戶來(lái)說(shuō)，這個(gè)鏡像是非常輕量的，而且用起來(lái)也很方便，不用的時(shí)候可以隨時(shí)銷毀，不管是用于技術(shù)學(xué)習(xí)也好，用來(lái)實(shí)現(xiàn)產(chǎn)品創(chuàng)意也好，還是做規(guī)模測(cè)試前期的持續(xù)集成也好，Cloudera QuickStart Docker鏡像都是很好用的（但是在投入產(chǎn)品環(huán)境之前，最好還是先放到一個(gè)更貼近真實(shí)情況的測(cè)試環(huán)境里面跑一下）。

Docker跟傳統(tǒng)的虛擬化平臺(tái)還是有很多不一樣的地方，比方說(shuō)，Docker可以在Linux平臺(tái)上運(yùn)行容器，傳統(tǒng)的虛擬機(jī)只能提供對(duì)硬件的模擬，要不然就是把對(duì)硬件資源的訪問(wèn)隔離開(kāi)來(lái)，好讓用戶運(yùn)行客機(jī)操作系統(tǒng)，但是容器就不一樣了，容器從本質(zhì)上說(shuō)就是主機(jī)操作系統(tǒng)的一個(gè)進(jìn)程，每個(gè)容器都有自己的一套文件系統(tǒng)，也有自己的資源，但一臺(tái)主機(jī)上的所有容器都是運(yùn)行在同一個(gè)Linux內(nèi)核上的，這一點(diǎn)跟BSD jail和Solaris zone很像。

入門(mén)教程
這次發(fā)布的Docker鏡像（現(xiàn)在還只是Beta版）跟QuickStart VM一樣，都包含了CDH，大家可以自己安裝Cloudera Manager免費(fèi)版，當(dāng)然也可以裝Cloudera Enterprise的60天試用版。大家可以設(shè)置Docker映射的端口，這里我設(shè)的是主機(jī)的80端口，大家也可以這樣設(shè)置，然后在瀏覽器里訪問(wèn)這個(gè)端口，登進(jìn)去以后應(yīng)該可以看到鏡像里面提供的詳細(xì)的教程，還有測(cè)試用的示例數(shù)據(jù)。

裝好Docker以后，運(yùn)行下面的命令就可以下載鏡像然后跑容器了：
2.png





大家要是還有什么問(wèn)題的話，可以到Docker Hub上去找相關(guān)的文獻(xiàn)，另外鏡像也可以在Docker Hub上下載。

QuickStart Docker鏡像發(fā)布以后，在傳統(tǒng)的桌面虛擬機(jī)和基于AWS的demo集群(Cloudera Live)之外，大家也可以選擇Docker鏡像來(lái)運(yùn)行Apache Hadoop和Cloudera平臺(tái)，具體選哪個(gè)就看大家的需求了，總之就是選擇面更廣，用戶的自主空間更大。




docker, 容器, 云計(jì)算, 企業(yè)服務(wù)