VTL備份速度問題討論

andy_lyb

幾乎所有的VTL廠商都說VTL備份比Tape備份要快，從參數(shù)上看也的確挺誘人，中高檔的VTL動輒每小時幾個TB，也就是每秒鐘幾百M(fèi)B甚至1GB的總體吞吐速度，看起來的確需要n多臺Tape Drive才能與之抗衡。

但實(shí)際上，這個美麗的數(shù)字并不是我們輕易就可以達(dá)到的，首先要有足夠多的磁盤，許多廠家在估算單塊SATA磁盤的持續(xù)寫速時往往只估算到15MB/s，除掉RAID所需的校驗(yàn)盤和熱備盤損失之后，磁盤數(shù)量就急劇增加了。

但是，更關(guān)鍵的是RAID組的問題，我們不可能將所有磁盤劃到一個RAID組，一般做到8+2的RAID6就了不起了。這也就意味著，每個LUN最多只有8塊盤的寫速度，約120MB/s。同時也就意味著每一盤虛擬磁帶的最大寫速度為120MB/s。換句話說，如果不巧，你需要的所有虛擬磁帶都在同一個RAID組上面，這些磁帶總的寫速度只能達(dá)到120MB/s（碰巧與LTO4磁帶機(jī)速度相等，純屬巧合，呵呵）。

那么好了，假設(shè)我有一個超大的備份任務(wù)，例如Oracle數(shù)據(jù)庫，全庫備份幾個TB，采用并行方式進(jìn)行備份，需要同時調(diào)用8盤磁帶進(jìn)行寫操作。

如果是用Tape Drive，簡單了，我通過8個Tape Drive調(diào)用8盤磁帶，理論上速度可以達(dá)到8個Tape Drive的總和，假設(shè)型號為LTO4，即960MB/s；
但是我現(xiàn)用VTL，麻煩了，調(diào)用8盤虛擬磁帶，交給8個虛擬的磁帶機(jī)加載使用，最理想的情況是，這8盤虛擬磁帶分布在8個不同的RAID組上面，才能達(dá)到960MB/s的速度。可是如果不巧，這8盤虛擬磁帶全部在一個RAID組上面，再碰巧這個RAID組還有其他備份任務(wù)要處理，完蛋了，可能連120MB/s也達(dá)不到了。

也許有人會建議手工創(chuàng)建虛擬磁帶，并進(jìn)行細(xì)致的備份策略規(guī)劃，或許可以解決這個問題。但是回過頭想想，只有數(shù)據(jù)量很大的情況下，我們才會關(guān)注速度的問題，而數(shù)據(jù)量很大，直接的后果就是VTL的容量也會很大，虛擬磁帶會非常多，這個管理的工作量實(shí)在是太大了......

不知各位XDJM有沒有什么行之有效的辦法？
歡迎討論。

無牙

我做過一個類似的項(xiàng)目，也是VTL的備份速度問題，要備份的數(shù)據(jù)全是海量Oracle數(shù)據(jù)庫。
用戶被折磨了N周后，得出的結(jié)論是：
1.VTL機(jī)頭的數(shù)量、配置以及與盤陣的連接方式是關(guān)鍵。
2.虛擬磁帶的使用順序是關(guān)鍵，正如樓主說的RAID組的問題，要將虛擬磁帶岔開，并行備份作業(yè)最好不用在一個RAID上的虛擬磁帶。
3.磁盤陣列的性能不能忽視，前面兩樣注意了性能還上不去，最后只能“硬撐”了！

yangm63

靠機(jī)頭的內(nèi)存緩沖呀

w3wu

driver寫的速度=備份速度？？？影響備份速度的因素很多的，虛擬帶庫的缺點(diǎn)的確在容量上面，至于速度還是有點(diǎn)優(yōu)勢的。

realy8

原帖由 無牙 于 2009-2-11 22:07 發(fā)表
我做過一個類似的項(xiàng)目，也是VTL的備份速度問題，要備份的數(shù)據(jù)全是海量Oracle數(shù)據(jù)庫。
用戶被折磨了N周后，得出的結(jié)論是：
1.VTL機(jī)頭的數(shù)量、配置以及與盤陣的連接方式是關(guān)鍵。
2.虛擬磁帶的使用順序是關(guān)鍵， ...

和盤陣的關(guān)系很大，需要最優(yōu)的配置才能榨出VTL的速度

andy_lyb

原帖由 yangm63 于 2009-2-11 22:37 發(fā)表
靠機(jī)頭的內(nèi)存緩沖呀

機(jī)頭內(nèi)存只能解決最開始的備份速度問題，一旦備份任務(wù)大到內(nèi)存放不下就不管用了。我知道有些廠商為了提高性能，甚至關(guān)閉了后端盤陣的Cache。

andy_lyb

原帖由 無牙 于 2009-2-11 22:07 發(fā)表
2.虛擬磁帶的使用順序是關(guān)鍵， ...

順序的問題很難控制的，一般VTL創(chuàng)建虛擬磁帶的時候都是批量的，而備份軟件調(diào)用磁帶的時候也是自動的。

如果有什么優(yōu)化的算法就好了，比如說VTL機(jī)頭判斷出某個備份任務(wù)是來自同一臺主機(jī)的，自動將該任務(wù)所需要的虛擬磁帶指向不同的RAID組。反正他的虛擬磁帶只是個標(biāo)志位，最終占用的都是磁盤空間嘛。

無牙

原帖由 andy_lyb 于 2009-2-12 10:36 發(fā)表


順序的問題很難控制的，一般VTL創(chuàng)建虛擬磁帶的時候都是批量的，而備份軟件調(diào)用磁帶的時候也是自動的。

如果有什么優(yōu)化的算法就好了，比如說VTL機(jī)頭判斷出某個備份任務(wù)是來自同一臺主機(jī)的，自動將該任務(wù)所 ...

當(dāng)時用的是STK的VTL,STK有一算法知道分配后的虛擬磁帶那個和那個是一個RAID組的。然后在備份軟件中創(chuàng)建了很多pool，把這些都分開了。

光調(diào)這個就弄了十幾天，開始效果還行，但是隨著數(shù)據(jù)量的增多，速度也就慢慢的降下了。

現(xiàn)在用戶已經(jīng)調(diào)整了策略，海量數(shù)據(jù)一般都是直接進(jìn)物理磁帶庫。