探討：重復數據刪除在主存儲中的應用

袁紹龍

　現如今，重復數據刪除技術已經不再讓人感到陌生，其價值也已經在備份領域獲得了充分的體現，如何發(fā)揮重復數據刪除技術的最大價值就成為廠商們又一個需要思考的問題。重復數據刪除技術向主
存儲
領域的延伸(NetApp公司開了重復數據刪除技術在主存儲應用的先河)，也讓我們看到了廠商期待將這項技術能夠發(fā)揮更大的價值。在2009年SNW中國大會上，HIFN向大家展示了其BitWackr重復數據刪除和數據縮減技術，筆者也借此機會與HIFN公司中國區(qū)銷售總監(jiān)趙強先生就重復數據刪除技術在主存儲領域有何價值進行了一番探討。
　　主存儲數據需要重復數據刪除嗎?
　　主存儲因為存放著企業(yè)的關鍵業(yè)務數據，用戶出于
安全
性以及對生產系統(tǒng)不影響的考慮，自然而然的對重復數據刪除避而遠之。甚至有人還會反問：主存儲需要重復數據刪除技術嗎?這就要先從主存儲上存放的數據談起。
　　與備份不同的是，在主存儲上，系統(tǒng)隨時都在進行I/O交換操作，主存儲數據的改變隨時都在發(fā)生，這種特性也決定了主存儲不會像備份領域(典型例子：企業(yè)每天做一個增量備份、每周做一個全備份，并長此以往、周而復始)那樣存在著大量的重復數據，并且還可能存在很大的安全代價(主存儲中的數據都至關重要)，因此就需要我們去定位主存儲中哪些數據適合做重復數據刪除或者數據壓縮。

圖一：在主存儲和備份存儲上應用重復數據刪除的區(qū)別
　　虛擬化數據毫無疑問是主存儲中比較多的重復數據，隨著虛擬化的迅速發(fā)展和普及，虛擬機的迅速增多，使得這部分數據也迅速增加，因此，如何對這部分數據進行安全可靠的重復數據刪除和數據壓縮就成為考驗廠商的一道難題。

圖二：HIFN BitWackr技術對虛擬數據去重的示意圖
　　從上圖我們可以看出，HIFN BitWackr重復數據刪除和數據壓縮技術對虛擬化數據進行區(qū)分，分成公共數據和專有數據，然后在進行重復數據刪除和數據壓縮操作，同時還會做一個類似雙機熱備的操作，以防止意外的發(fā)生。
　　主存儲中另外常見數據就是文件數據和圖像數據，文件數據可能是因為基于工作共享的目的而存放在主存儲當中，圖像數據則是特定行業(yè)決定的，這些數據可能并像數據庫數據那樣關鍵，但使用會相對比較頻繁，因此最好的方法就是對這些數據進行實時壓縮。

圖三：HIFN BitWackr對主存儲數據進行數據壓縮
　　如上圖所示，通過對主存儲添加BitWackr數據壓縮技術，可以很好的對那些辦公數據、文件、圖像進行壓縮處理，從而達到主存儲空間利用最大化。當然，同樣出于防止意外的發(fā)生，HIFN同時也會做一個類似雙機熱備的操作。
　　主存儲中還有一部分數據就是基于數據庫應用的結構化或半結構化數據，對于這些數據，筆者認為重復數據刪除的確不太適合，這些結構化數據I/O操作異常頻繁，并且是企業(yè)最為關鍵的數據，如果從成本的角度出發(fā)，用重復數據刪除技術所節(jié)省下來的存儲成本可能會獲得非常之大的風險，因此，筆者不看好重復數據刪除技術對這方面數據的應用。


本文來自ChinaUnix博客，如果查看原文請點：http://blog.chinaunix.net/u2/77491/showart_1951815.html