云計算環(huán)境下的數(shù)據(jù)存儲

feiyang10086

云計算環(huán)境下的數(shù)據(jù)存儲

云計算是一種基于服務(wù)的架構(gòu)體系,有兩種基本服模式:云計算和云存儲�；�于云計算服務(wù)的應(yīng)用程序,無論是金融服務(wù)還是網(wǎng)絡(luò)角色扮演游戲,幾乎在所有情況下都需要高性能的云存儲來滿足數(shù)據(jù)處理的需求[1]。網(wǎng)絡(luò)時代是一個信息時代,隨著Web2.0技術(shù)的成熟,大量的信息以井噴的姿勢出現(xiàn)在互聯(lián)網(wǎng)上,如何應(yīng)對這種信息爆炸式的增長速度,如何對這些信息進行有效存儲和管理,云存儲是否能夠應(yīng)對這種情況,如何才能保證云存儲的高性能,如何才能保證云存儲的靈活性,這些是本文探討的問題。
　　1 云計算環(huán)境下的云存儲實現(xiàn)
　　1.1 選擇云存儲的理由
　　我們可以列出相比現(xiàn)有存儲技術(shù),選擇使用云存儲的理由。
　　首先,相比傳統(tǒng)存儲,云存儲的購買模式更加靈活。普通企業(yè)構(gòu)建一個數(shù)據(jù)中心(購買服務(wù)器,數(shù)據(jù)維護,能源消耗[2]等),所需要的一次性投資巨大,而使用云存儲,企業(yè)可以根據(jù)經(jīng)濟狀況,靈活決定選擇租用公共云存儲或者自己實現(xiàn)私有云存儲。云存儲服務(wù)商都有專業(yè)的存儲解決方案,針對存儲效能進行了最大的優(yōu)化,存儲成本在虛擬化平臺上實現(xiàn)顆粒性統(tǒng)計,盡力在使用成本和用戶可以接受的價格之間尋找平衡點,以規(guī)模經(jīng)濟來獲取效益。因此相對于用戶構(gòu)建的數(shù)據(jù)中心,普通的中小企業(yè)在平均業(yè)務(wù)數(shù)據(jù)量不大的情況下,租用合適的公共云存儲,可以很好的解決中小企業(yè)資金預(yù)算問題。
　　其次,云存儲可以很好的應(yīng)付突發(fā)的大訪問量。企業(yè)在構(gòu)建數(shù)據(jù)中心時,一般會考慮到數(shù)據(jù)中心的處理性能,為企業(yè)用戶提供良好的服務(wù),但如果遇到突發(fā)性的大訪問量,企業(yè)自己的數(shù)據(jù)中心往往無法應(yīng)付,比如大型賽事的購票系統(tǒng),餐飲行業(yè)的訂餐系統(tǒng),試運營階段的網(wǎng)絡(luò)聯(lián)機游戲等,都會遇到這種突發(fā)性大訪問量,這種情況下如果使用了云存儲服務(wù),利用云存儲的服務(wù)器集群和虛擬化技術(shù),臨時調(diào)用計算和存儲資源,分配給服務(wù)器和存儲子模塊,可以很好的為企業(yè)解決類似問題。
　　再次,可以提供存儲服務(wù)的同步升級和數(shù)據(jù)的有效管理。企業(yè)構(gòu)建自己的數(shù)據(jù)中心,需要購買相應(yīng)的網(wǎng)絡(luò)存儲控制器設(shè)備和存儲管理軟件,這些設(shè)備和軟件的升級管理往往需要在不影響用戶使用的情況下進行。同時數(shù)據(jù)的備份、歸檔也需要有效的管理,防止突發(fā)性破壞事件影響用戶使用。這些活動都具有一定的風險,需要經(jīng)驗豐富的數(shù)據(jù)管理人員進行維護。而使用云存儲服務(wù),則可以一定程度轉(zhuǎn)嫁這些風險�？蛻粼谂c云存儲服務(wù)提供商簽訂云存儲服務(wù)時,都會就系統(tǒng)升級,數(shù)據(jù)備份、歸檔等達成協(xié)議,由云存儲服務(wù)提供商負責承擔,同時有響應(yīng)的風險承諾,讓企業(yè)確信這些數(shù)據(jù)管理活動能夠?qū)�風險降至最低。
　　正是由于云存儲具有傳統(tǒng)企業(yè)數(shù)據(jù)中心所不具有的這些優(yōu)勢,越來越多的企業(yè)正在逐步將數(shù)據(jù)中(續(xù)致信網(wǎng)上一頁內(nèi)容)心向云端轉(zhuǎn)移,那么如何構(gòu)建一個云端的數(shù)據(jù)存儲架構(gòu)。
　　1.2 云計算環(huán)境下數(shù)據(jù)存儲架構(gòu)
　　1.2.1 服務(wù)器架構(gòu)技術(shù)
　　構(gòu)建云存儲首先要構(gòu)建云存儲的服務(wù)器架構(gòu),服務(wù)器架構(gòu)屬于云計算的IAAS部分,還沒有形成一個統(tǒng)一標準,可以通過多種架構(gòu)技術(shù)來實現(xiàn)。常用的構(gòu)架技術(shù)如附網(wǎng)存儲NAS和存儲區(qū)域網(wǎng)SAN。
　　NAS是一種分布式架構(gòu)的文件存儲系統(tǒng),屬于松散結(jié)合型集群,通�？梢詽M足以云存儲為主導(dǎo)的環(huán)境需求。在NAS文件系統(tǒng)集群中,每個節(jié)點是一個獨立的實體,很多卷被分配到節(jié)點中,而集群中的其他節(jié)點是無法訪問這些卷的。在這里,最小的單位是文件,歸屬于節(jié)點。當一份文件被保存在集群中的時候,它的數(shù)據(jù)就會被完整地保存在集群中某個特定節(jié)點中。雖然這個文件的多個副本會被重新定位到其他節(jié)點來提供冗余性,但只有該節(jié)點才能提供這個文件的單實例。NAS具有較低的成本,集群系統(tǒng)也易于擴展,基于文件級別的節(jié)點易于提供安全控制機制,但在客戶端請求過多時,NAS服務(wù)器會成為系統(tǒng)瓶頸,一般使用NAS集群的云服務(wù)可以滿足企業(yè)二級存儲需求,云存儲市場已經(jīng)開始較多采用NAS這種松散結(jié)合型存儲集群,NAS存儲架構(gòu)如圖1所示。
　　SAN是一種集群架構(gòu)的塊存儲系統(tǒng),屬于緊密結(jié)合型集群。隨著文件被保存到集群中,它們被分成了很多個數(shù)據(jù)塊,而且這些數(shù)據(jù)塊對于集群中的其他任何節(jié)點來說都是可訪問的。當有文件請求的時候,每個節(jié)點會訪問這個文件的不同數(shù)據(jù)塊以處理應(yīng)用或者用戶的請求,利用P2P技術(shù),SAN在用戶請求越多時,響應(yīng)請求的可用節(jié)點越多,性能就越高。SAN存儲架構(gòu)是一種集群式架構(gòu),非常適合云服務(wù)提供商構(gòu)造自己的云服務(wù)器,可擴展性良好,數(shù)據(jù)傳輸效率也很高,配合也適當?shù)腜2P、重復(fù)數(shù)據(jù)刪除技術(shù),能滿足企業(yè)一級存儲需求,但是使用SAN架構(gòu)的硬件成本較高,基于 SAN架構(gòu)的云存儲服務(wù)價格一般較高,可通過適當?shù)男阅芙档蛠砜刂瞥杀?SAN存儲架構(gòu)如圖2所示。
　　除了以上兩種服務(wù)器架構(gòu),還有其它的架構(gòu)技術(shù),如OBS,集成文件系統(tǒng)等,都是在SAN的基礎(chǔ)上進行擴展,在追求更好性能的同時對成本進行適當控制。
　　1.2.2 服務(wù)器間數(shù)據(jù)傳送
　　針對以上兩種服務(wù)器架構(gòu),有三種常用數(shù)據(jù)傳送方式。
　　NFS/CIF是NAS架構(gòu)的數(shù)據(jù)傳送協(xié)議[3-4],使用NFS或者CIF數(shù)據(jù)傳送接口,可以實現(xiàn)異構(gòu)平臺之間的數(shù)據(jù)共享。前者在Windows客戶端上加載NFS客戶端軟件,使Windows客戶端融入以UNIX為主導(dǎo)的網(wǎng)絡(luò),后者在UNIX服務(wù)器上加載CIFS服務(wù)器端軟件,使得UNIX服務(wù)器就像本地Windows服務(wù)器一樣工作。NFS/CIF使NAS架構(gòu)服務(wù)器之間連成一個整體,共同提供云存儲服務(wù),在集群環(huán)境和分布式網(wǎng)絡(luò)環(huán)境下都有很好的表現(xiàn),但是本身數(shù)據(jù)傳送效率一般。
　　iSCSI是SAN架構(gòu)的數(shù)據(jù)傳送協(xié)議,使得單個客戶端的應(yīng)用程序能夠像使用本地資源一樣的使用服務(wù)器上的資源,其操作后的結(jié)果對其他客戶端是不可見的。iSCSI擁有高速元數(shù)據(jù)緩存器,具有較高的存儲性能。但是iSCSI只適合集群架構(gòu)的SAN框架,如果將SAN以分布式云存儲方式實現(xiàn),在將iSCSI的系統(tǒng)內(nèi)部塊級存儲訪問推廣到Internet上時,會遇到高數(shù)據(jù)流量、低延遲等性能、數(shù)據(jù)安全性以及系統(tǒng)級高容錯要求所產(chǎn)生的通信交互規(guī)則等技術(shù)難點。
　　FC是高速光纖通道,所構(gòu)建的云存儲系統(tǒng)具有快速、高效、可靠的數(shù)據(jù)傳遞效率,主要應(yīng)用在性能要求較高的金融、電信等領(lǐng)域。FC設(shè)備成本高,同時不支持直接在因特網(wǎng)上運行,在進行網(wǎng)絡(luò)互聯(lián)時,具有較為復(fù)雜的應(yīng)用異構(gòu)性,并且高速光纖具有物理覆蓋的局限性,因此在構(gòu)建云存儲系統(tǒng)時,FC一般僅適用于高效、高端云系統(tǒng)。
　　1.3 平臺層云存儲關(guān)鍵技術(shù)
　　選擇合適的服務(wù)器架構(gòu)和數(shù)據(jù)傳送方式,構(gòu)成了云存儲的硬件基礎(chǔ),而如何在這個硬件環(huán)境下搭建合適的軟件平臺,則是充分發(fā)揮云存儲性能的保證。
　　1.3.1 虛擬化技術(shù)
　　虛擬化技術(shù)是數(shù)據(jù)中心虛擬化的核心技術(shù),在云存儲系統(tǒng)中也是起著重要作用。通過虛擬化技術(shù),如IBM的Enterprise Workload Manager[5],可以將單臺服務(wù)器上的硬件資源進行劃分,如處理器資源,內(nèi)存資源和存儲空間,都可以單獨劃分,然后根據(jù)客戶需要,將劃分的硬件資源通過虛擬化軟件技術(shù)(如Xen、Hype-y等),進行組合,組合出滿足客戶要求的虛擬系統(tǒng),并且該虛擬系統(tǒng)可以根據(jù)使用情況,利用虛擬平臺的池化技術(shù)進行動態(tài)變更,以滿足系統(tǒng)變化。云存儲效用計算就是基于虛擬化技術(shù)的,效用計算使云計算服務(wù)提供商可以根據(jù)虛擬出來的單個存儲單元的使用時間進行收費。通過虛擬化技術(shù),可以滿足云存儲多租戶,可預(yù)測,自動調(diào)節(jié)等架構(gòu)需求。
　　1.3.2 存儲管理系統(tǒng)
　　構(gòu)建在虛擬平臺上的存儲管理系統(tǒng),同樣在云存儲系統(tǒng)中擔負著重要角色。一款基于云存儲的優(yōu)秀存儲管理系統(tǒng),可以為云存儲的性能帶來極大的提升。如設(shè)備發(fā)現(xiàn)功能,允許服務(wù)提供商為云系統(tǒng)動態(tài)增加新的服務(wù)器,提升云的整體配置;故障管理功能,自動故障檢測功能,如果用戶租用的虛擬系統(tǒng)對應(yīng)的服務(wù)器發(fā)生故障,自動為用戶開啟新的存儲空間,并從冗余備份服務(wù)器中恢復(fù)資料;集群管理功能,實現(xiàn)負載的監(jiān)視、均衡和轉(zhuǎn)移,自動調(diào)整用戶應(yīng)用在服務(wù)器中的轉(zhuǎn)移,控制云系統(tǒng)集群服務(wù)器的使用情況,給用戶提供最優(yōu)服務(wù);分級存儲功能,根據(jù)對數(shù)據(jù)存儲的不同需求和節(jié)省成本的考慮,利用成本和使用效率不同的存儲介質(zhì),提供在線、近線和離線存儲功能,在保證存儲可用性的同時,自動選擇最經(jīng)濟的存儲方案,為用戶數(shù)據(jù)的歸檔、備份、鏡像和恢復(fù)提供保證;安全管理功能,保證資源的訪問控制和存取控制等。一款優(yōu)秀的存儲管理系統(tǒng),是底層存儲架構(gòu)能充分發(fā)揮其性能的重要保證。
　　1.3.3 云存儲服務(wù)API
　　云存儲服務(wù)API能夠使獨立軟件供應(yīng)利用云存儲功能開發(fā)產(chǎn)品。通過提供云存儲API,獨立軟件供應(yīng)商對數(shù)據(jù)保存的方式和位置有更高的控制權(quán),節(jié)省部署流程所需的時間。如EMC開發(fā)的Archive Services Platform API,Amazon的Restful API[6],都可以為應(yīng)用提供除了簡單云存儲之外的更強大功能,通過使用SOAP或者Restful網(wǎng)絡(luò)服務(wù),提供包括搜索、找回和保存等功能。這樣的API可以向軟件供應(yīng)商的應(yīng)用中增加新功能而不需要進行額外的部署,這對獨立軟件供應(yīng)商來說是一個強有力的支持。軟件供應(yīng)商可以通過增加新功能、節(jié)約部署投資和減少實際部署時間來加速進入市場的進程。云存儲API為SAAS層應(yīng)用服務(wù),為了能夠使用戶在不同的云系統(tǒng)之間進行數(shù)據(jù)的自由遷移,越來越多的云服務(wù)提供商都在考慮將自己的云存儲API開源,希望在API接口上形成統(tǒng)一標準。
　　1.4 云存儲系統(tǒng)構(gòu)成
　　云存儲構(gòu)建于云計算環(huán)境,因此其分層結(jié)構(gòu)應(yīng)該與云計算分層結(jié)構(gòu)一致。如圖3所示,IAAS層由服務(wù)器集群技術(shù)構(gòu)成,PAAS層由虛擬軟件,存儲管理軟件和云服務(wù)API接口構(gòu)成,SAAS層由云服務(wù)和云應(yīng)用構(gòu)成。通過貫穿于云計算環(huán)境下的各層要素,共同構(gòu)成云存儲系統(tǒng),如圖3所示。
　　2 構(gòu)建企業(yè)云存儲
　　2.1 商業(yè)化的云存儲系統(tǒng)
　　基于云存儲理論的商業(yè)化存儲產(chǎn)品已經(jīng)在數(shù)據(jù)存儲領(lǐng)域涌現(xiàn)。
　　Amazon是最早推出云存儲服務(wù)的公司,開發(fā)了自己的一系列存儲技術(shù)。布了簡單存儲服務(wù)(simple storage service,簡稱S3),用戶使用SOAP協(xié)議存放和獲取自己的數(shù)據(jù)對象;出了簡單隊列服務(wù)(simple queue service,簡稱SQS),這項服務(wù)能夠使得托管虛擬主機之間發(fā)送的消息,支持分布式程序之間的數(shù)據(jù)傳遞,無須考慮消息丟失的問題;提供了EBS(elastic block storage)服務(wù),為用戶提供塊級別的存儲接口。Amazon通過自己的探索,在云存儲概念明確之前,已經(jīng)開始提供良好的云存儲服務(wù)。
　　Google是最早提供開源云存儲API接口的公司,定義了一套大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable,并提供了MapReduce分布式編程環(huán)境,除了用于Google自己開發(fā)的云服務(wù)以外,也用于云存儲應(yīng)用開發(fā)商開發(fā)自己的云存儲服務(wù)和云應(yīng)用服務(wù)。Google開發(fā)的GFS(Google File System,一種基于SAN架構(gòu)的集群文件系統(tǒng)),在性能、伸縮、可用性和可靠性都有較好的表現(xiàn)。
　　IBM的藍云結(jié)合了GFS集群文件系統(tǒng)和基于塊設(shè)備方式的存儲區(qū)域網(wǎng)絡(luò)SAN。由SAN提供塊設(shè)備接口,并在這些塊設(shè)備接口上選擇了GFS分布式文件系統(tǒng)。SAN的一個標準的文件系統(tǒng)如果被多服務(wù)器同時使用的話,數(shù)據(jù)容量很快就能讓整個系統(tǒng)崩潰。為了能夠?qū)ν瑫r修改該系統(tǒng)的其它文件系統(tǒng)進行協(xié)調(diào),藍云使用了GFS,可以針對全球的Linux文件系統(tǒng)進行協(xié)調(diào)。
　　各種商業(yè)化云存儲系統(tǒng)在不斷出現(xiàn),隨著云存儲標準的逐漸完善,這些系統(tǒng)將不斷朝著更優(yōu)的服務(wù),更好的兼容性,更低的成本方向發(fā)展。
　　2.2 云存儲構(gòu)建企業(yè)數(shù)據(jù)中心
　　企業(yè)的數(shù)據(jù)中心經(jīng)歷了從傳統(tǒng)數(shù)據(jù)中心到虛擬化數(shù)據(jù)中心的變革。隨著云計算和云存儲概念和技術(shù)的不斷成熟,企業(yè)數(shù)據(jù)中心正經(jīng)歷著向云數(shù)據(jù)中心轉(zhuǎn)變的新的變革。小型企業(yè)通過將數(shù)據(jù)中心向云存儲端轉(zhuǎn)移,可以很好的控制數(shù)據(jù)中心成本;而大型企業(yè)除了租用公共云存儲服務(wù)以外,也開始著手建立自己的私云存儲數(shù)據(jù)中心。
　　對于數(shù)據(jù)中心要求較高的大型企業(yè),往往對數(shù)據(jù)安全有較高的要求,租用公共云存儲服務(wù),將企業(yè)生存的命脈數(shù)據(jù)存放于云服務(wù)提供商的云端數(shù)據(jù)中心,仍然會存在一定的風險,因此可以采取構(gòu)建私云存儲來解決這個問題。如果企業(yè)私云存儲自己提供存儲災(zāi)備和冗余備份系統(tǒng),那么它在IT資源合理化重組上仍然具有本地厚重配置,高成本,缺乏彈性之類的典型特征。因此,企業(yè)可以將生產(chǎn)數(shù)據(jù)等企業(yè)核心數(shù)據(jù)作為第一級存儲,采用FC-SAN等高速存儲架構(gòu)構(gòu)建私云存儲,同時將租用的,價格低廉的,采用NAS低速架構(gòu)的云存儲服務(wù)作為第二、三級存儲,為企業(yè)提供文件數(shù)據(jù)存儲和冗災(zāi)備份功能的存儲服務(wù),通過這種混合云的體系架構(gòu),達到存儲的優(yōu)化配置。
　　3 小結(jié)
　　云計算是網(wǎng)絡(luò)時代發(fā)展的又一個高潮,隨之伴生的云存儲在其中起著推波助瀾的重要作用。如何構(gòu)筑高效云存儲,如何控制云存儲系統(tǒng)成本,如何利用有效云存儲系統(tǒng),這些問題隨著云存儲技術(shù)的廣泛應(yīng)用將會逐漸得到解決,我們密切關(guān)注著這一進程。云存儲問題的有效解決將為云計算應(yīng)用的普及打好堅實基礎(chǔ)。