利用 GPFS 提升 TSM 對海量數(shù)據(jù)文件備份性能

5Seven

引言

IBM General Parallel File System（GPFS）是 IBM 公司高性能、可擴展、并行文件系統(tǒng)，被普遍應(yīng)用于 IBM 大規(guī)模 AIX 或 Linux 集群系統(tǒng)中。GPFS 能把對文件集的查詢分發(fā)到所有的 GPFS 節(jié)點上進行，每個節(jié)點對分發(fā)到的任務(wù)進行計算，最后把結(jié)果匯總返回到查詢端。通過并行處理，能夠為并行應(yīng)用程序提供高性能的 I/O 存取訪問，大幅度提高文件的查找、掃描性能。

Tivoli TSM（Tivoli Storage Manager）是一個企業(yè)級的 Client/Server 結(jié)構(gòu)跨平臺網(wǎng)絡(luò)備份、恢復(fù)及存儲管理軟件。TSM 支持全盤備份和增量備份。部署在 AIX 上的文件系統(tǒng)，TSM 通過掃描數(shù)據(jù)塊的改變，把改變的數(shù)據(jù)備份出來，達(dá)到增量備份的目的。與 TSM 傳統(tǒng)的通過 AIX 文件系統(tǒng)掃描數(shù)據(jù)的方式相比，使用 GPFS 能夠快速高效的遍歷文件系統(tǒng)；特別是在海量文件系統(tǒng)中，能夠極大的縮短定位單個文件或者文件集的時間，提高備份的性能。

TSM 備份的常見方案及其特點

TSM 能夠提供企業(yè)級的存儲數(shù)據(jù)管理功能, 集中地數(shù)據(jù)備份與恢復(fù)管理, 提供多種級別的數(shù)據(jù)備份，如文件系統(tǒng)備份，數(shù)據(jù)庫備份, 操作系統(tǒng)備份等不同的備份類別。TSM 能夠支持絕大多數(shù)主流操作系統(tǒng)平臺, 并且可以根據(jù)用戶需求為不同的用戶定制合適的備份解決方案。和其它的備份產(chǎn)品類似，TSM 支持全備份和增量備份。而增量備份又分為下面四種類型，每種類型有其獨特的特點：

增量備份

• 首先做一次全備份，再備份子上次全備份以后新創(chuàng)建或者修改的文件、目錄。
  

選擇備份

• 無條件地備份指定的文件或者目錄 , 而不管它是否被修改
  

基于日志的備份（Journal-based 備份）

• 用戶需要在備份客戶端啟動日志服務(wù)引擎（Journal Service Engine）。該引擎會記錄客戶端自上次工作結(jié)束后，發(fā)生改變的所有獨立文件。
• 當(dāng)進行備份的時候，備份客戶端會直接從日志服務(wù)中獲得要備份數(shù)據(jù)的信息，避免了兩個文件特性列表的建立和比較工作
• 不掃描本地文件系統(tǒng)或從 server 獲得信息決定某個文件要處理
• 減少 client 和 server 之間的網(wǎng)絡(luò)傳輸
• 基于以上特點，極大的提高了備份的速度
  

基于時間的增量備份

• 僅僅備份那些自上次增量備份以來新的或者修改過的文件或目錄
• 花費較少時間和內(nèi)存處理備份相對于完全增量備份
• 與傳統(tǒng)增量備份不同的是，它不包含當(dāng)前 server 上的所有工作站文件的存儲
  

AIX 中海量文件 TSM 備份的性能問題

大企業(yè)的生產(chǎn)環(huán)境，經(jīng)過幾年的積累會產(chǎn)生海量的數(shù)據(jù)文件，這些系統(tǒng)一般有如下特點：

• 文件的數(shù)量非常龐大，經(jīng)常有 TB 級別的文件集
• 每個獨立文件的大多都比較小，很多文件都在 100k 以下
• 對文件的更新刪除操作并不頻繁，大部分文件甚至從不更新和刪除
  

面對這種環(huán)境，使用常規(guī)的增量備份或者差異備份方式，不太容易取得完美的效果。這是由常規(guī)備份方式判斷文件是否發(fā)生改變的方式造成的。常規(guī)備份方式判斷文件是否改變，通常采用如下的判斷方式，當(dāng)備份請求發(fā)起時：

• 客戶端程序掃描整個需要備份的文件系統(tǒng)以建立一個客戶端的文件特性描述列表
• 服務(wù)器端程序也掃描整個文件系統(tǒng)，建立一個服務(wù)器端的的文件特性列表
• 比較這兩個列表，如果某一個文件符合備份條件，則執(zhí)行相應(yīng)的備份操作
  

顯然，當(dāng)用戶客戶端的數(shù)據(jù)屬于海量小文件的時候，再繼續(xù)使用這種判斷方式，肯定會有相當(dāng)?shù)臅r間會花費在文件特性列表的建立和比較過程中。當(dāng)然針對這種情況，TSM 推出了基于日志的增量備份，減少了文件的掃描，也減少了客戶端和服務(wù)器端之間的網(wǎng)絡(luò)傳輸開銷。但有時候仍不能達(dá)到客戶的需求，并且這種備份必須在客戶端保存和備份一個日志文件系統(tǒng)，一旦日志文件丟失或損壞，將不得不再進行全備份。

GPFS 架構(gòu)以及數(shù)據(jù)管理功能概述

GPFS 三層架構(gòu)簡介

GPFS 可以通過所有的集群節(jié)點來共享文件，并且可以充分利用集群系統(tǒng)中的“虛擬”共享磁盤，使得在多節(jié)點上運行的多個應(yīng)用程序可以同時讀寫同一文件。GPFS 具有基于策略（policy-based）的數(shù)據(jù)管理功能，它能夠?qū)��?shù)據(jù)進行整個的生命周期管理，從數(shù)據(jù)產(chǎn)生，到根據(jù)生產(chǎn)需要或策略而移動到另一個存儲層，再到其生命周期的最后需要刪除。GPFS 這種由策略驅(qū)動的 ILM 功能利用文件虛擬化技術(shù)來分析和識別數(shù)據(jù)，它能夠在數(shù)小時內(nèi)完成數(shù)億級別的基于策略的文件操作。

GPFS 文件系統(tǒng)基本上由三層架構(gòu)組成：磁盤、網(wǎng)絡(luò)共享磁盤（NSD）、GPFS 文件設(shè)備，詳細(xì)的架構(gòu)圖可以參考 GPFS inforcenter。其中磁盤為 GPFS 文件系統(tǒng)最底層的是物理磁盤設(shè)備。原則上可以采用系統(tǒng)上任何塊設(shè)備，包括磁盤、磁盤分區(qū)、邏輯卷。從物理連接上來看，GPFS 支持使用所有方式連接的磁盤。包括本地 IDE 磁盤、本地 SCSI 磁盤、光纖 SAN 磁盤、iSCSI 磁盤等等。而網(wǎng)絡(luò)共享磁盤（NSD: network share disk） NSD 是由磁盤映射出來的虛擬設(shè)備，NSD 與磁盤是一一對應(yīng)的關(guān)系。NSD 被標(biāo)記了不同屬性來區(qū)分其用途，我們可以將磁盤標(biāo)記為 4 種用途：

• Desc Only：這些磁盤只存儲 GPFS 文件系統(tǒng)的描述信息
• Data Only：只存儲文件系統(tǒng)中的數(shù)據(jù)信息，不會存儲文件系統(tǒng)本身的信息。
• Meta data only: 只存儲 GPFS 文件系統(tǒng)中的目錄結(jié)構(gòu) inode 信息。
• Meta and data: 存儲所有信息（默認(rèn)）。
  

GPFS 基于策略的數(shù)據(jù)管理功能

GPFS 提供了策略和規(guī)則來實現(xiàn)對文件管理的自動化、智能化。并且有豐富的應(yīng)用程序接口來實現(xiàn)對文件的多樣化管理。策略是一系列描述用戶數(shù)據(jù)生命周期的規(guī)則集合。每個規(guī)則對應(yīng)一個操作，當(dāng)創(chuàng)建文件或恢復(fù)文件時，策略決定文件的存放位置，并根據(jù)這個策略被放到相應(yīng)的存儲池。管理策略決定文件的相關(guān)管理操作，比如遷移和刪除等等，需要遷移和刪除文件時，您必須使用 mmapplypolicy 命令來觸發(fā)。規(guī)則是一系列的 SQL 命令，它主要用來告訴 GPFS 符合什么條件的文件需要在某個存儲池里做什么操作。規(guī)則可以應(yīng)用在文件集中的任何文件。當(dāng)規(guī)則中描述的條件符合的時候，就會把這個規(guī)則應(yīng)用到文件中。當(dāng)有一系列規(guī)則時，GPFS 按順序從上往下應(yīng)用。比如有一系列規(guī)則的情況下，當(dāng)掃描到有一個規(guī)則符合條件后，GPFS 就停止掃描，把相應(yīng)文件根據(jù)規(guī)則分配到對應(yīng)的存儲池。規(guī)則文件是具有一定格式的文件，在后面的實例中我們會有詳細(xì)的說明。

利用 GPFS 提高 TSM 備份海量文件的性能

在下面的實例中，我們介紹如何配置 GPFS，并且介紹怎樣通過 GPFS 的命令來實現(xiàn) TSM 的增量備份。GPFS 支持 AIX、Linux、Windows 平臺，詳細(xì)的信息可以參考 IBM inforcenter。本文所有示例均以 AIX 平臺為例。

測試環(huán)境介紹

在我們的實例中，我們會使用三臺 P520 AIX 5.1 服務(wù)器來創(chuàng)建 GPFS 集群

• cmaix25，連接到光纖存儲上，并且分配了 hdisk5 和 hdisk6 來存儲數(shù)據(jù)
• cmaix26，連接到光纖存儲上，并且分配了 hdisk5 和 hdisk6 來存儲數(shù)據(jù)
• cmaix27，用來作為 tiebreaker，僅使用一個本地的邏輯卷
  

由于 GPFS 軟件安裝不是本文的重點 , 因此本文假設(shè)客戶已經(jīng)按照相關(guān)的文檔已經(jīng)正確安裝 GPFS 軟件。 請根據(jù)當(dāng)前的服務(wù)器平臺和版本 , 參考 IBM Infocenter 安裝相應(yīng)的 GPFS 軟件。

創(chuàng)建 GPFS 集群

安裝 GPFS 軟件以后，我們可以配置 GPFS 集群，下面我們以 cmaix25 為例。創(chuàng)建一個 /etc/GPFS 目錄，在目錄下創(chuàng)建 2 個文件：NodeDescFile，diskDescFile，文件內(nèi)容參考清單 1

清單 1. 定義了每個節(jié)點的屬性和對應(yīng)的磁盤的屬性

[/etc/GPFS]   root@cmaix25 # more NodeDescFile   cmaix25:quorum-manager   cmaix26:quorum-manager   cmaix27:quorum-client   [/etc/GPFS]   root@cmaix25 # more DiskDescFile   /dev/hdisk5:::dataAndMetadata:1   /dev/hdisk6:::dataAndMetadata:2   /dev/tielv:cmaix27::descOnly:3

下一步，使用 mmcrcluster 命令創(chuàng)建集群，其中 cmaix25 為主節(jié)點，cmaix26 為第二個節(jié)點，在主節(jié)點上執(zhí)行如下命令：

root@cmaix25 # mmcrcluster -t lc -n NodeDescFile -p cmaix25 -s cmaix26   mmcrcluster: Command successfully completed

繼續(xù)使用 mmchconfig 命令更新配置文件，設(shè)置 autoload=no，參考如下：

root@cmaix25 # mmchconfig autoload=no   mmchconfig: Command successfully completed

清單 2. 用 mmlscluster 命令檢查集群是否已經(jīng)創(chuàng)建成功

root@cmaix25 # mmlscluster   GPFS cluster information   ========================    GPFS cluster name:         cmaix25.cn.ibm.com    GPFS cluster id:           683263769741021622    GPFS UID domain:           cmaix25.cn.ibm.com    Remote shell command:      /usr/bin/rsh    Remote file copy command:  /usr/bin/rcp   GPFS cluster configuration servers:   -----------------------------------    Primary server:    cmaix25.cn.ibm.com    Secondary server:  cmaix2**.ibm.com

下一步需要為 GPFS 所有節(jié)點添加 license，參考清單 3

清單 3. 添加 license

root@cmaix26 # mmchlicense server -N cmaix25,cmaix26,cmaix27   The following nodes will be designated as possessing GPFS server licenses:          cmaix25.cn.ibm.com          cmaix2**.ibm.com          cmaix27.cn.ibm.com   Please confirm that you accept the terms of the GPFS server Licensing Agreement.   The full text can be found at www.ibm.com/software/sla   Enter "yes" or "no": yes   mmchlicense: Command successfully completed

清單 4. 用已經(jīng)創(chuàng)建的 DiskDescFile 文件創(chuàng)建 NSD

root@cmaix25 # mmcrnsd -F DiskDescFile   mmcrnsd: Processing disk hdisk5   mmcrnsd: Processing disk hdisk6   mmcrnsd: Processing disk tielv   mmcrnsd: 6027-1371 Propagating the cluster configuration data to all

NSD 創(chuàng)建完成，使用 mmlsnsd 命令檢查其是否正常 :

root@cmaix25 # mmlsnsd   File system   Disk name    NSD servers                                     --------------------------------------------------- (free disk)   gpfs1nsd     (directly attached)       (free disk)   gpfs2nsd     (directly attached)       (free disk)   gpfs3nsd     cmaix27.cn.ibm.com

接下來再一次更新集群配置文件

root@cmaix25 # mmchconfig unmountOnDiskFail=yes cmaix27   mmchconfig: Command successfully completed

如果上面所有操作已經(jīng)成功，接下來可以創(chuàng)建一個 GPFS 文件系統(tǒng)了，這一步操作只需要在第一個節(jié)點上進行，我們的測試中是 cmaix25，參考清單 5

清單 5. 如何創(chuàng)建 GPFS 文件系統(tǒng)

root@cmaix25# mmcrfs /gpfs/fs0 fs0 -F DiskDescFile -m 2 -M 2 -r 2 -R 2   GPFS: 6027-531 The following disks of fs0 will be formatted on node cmaix25.cn.ibm.com:      gpfs1nsd: size 31457280 KB      gpfs2nsd: size 31457280 KB      gpfs3nsd: size 262144 KB   GPFS: 6027-540 Formatting file system ...   GPFS: 6027-535 Disks up to size 293 GB can be added to storage pool 'system'.   Creating Inode File   Creating Allocation Maps   Clearing Inode Allocation Map   Clearing Block Allocation Map   Formatting Allocation Map for storage pool 'system' GPFS: 6027-572 Completed creation of file system /dev/fs0.   mmcrfs: 6027-1371 Propagating the cluster configuration data to all

返回信息顯示 GPFS 文件系統(tǒng)已經(jīng)創(chuàng)建完成。這時候再去檢查開始定義的文件，發(fā)現(xiàn)文件已經(jīng)被 GPFS 修改，示例如下：

[/etc/GPFS]   root@cmaix25 # more NodeDescFile   cmaix25:quorum-manager   cmaix26:quorum-manager   cmaix27:quorum-client   [/etc/GPFS]   root@cmaix25 # more DiskDescFile   # /dev/hdisk5:::dataAndMetadata:1   gpfs1nsd:::dataAndMetadata:1::   # /dev/hdisk6:::dataAndMetadata:2   gpfs2nsd:::dataAndMetadata:2::   # /dev/tielv:cmaix27::descOnly:3   gpfs3nsd:::descOnly:3::

用 mmmount 命令掛載 GPFS 文件系統(tǒng)到所有的節(jié)點上，命令如下：

root@cmaix25 # mmmount all   [/etc/GPFS]   root@cmaix25 # df -m   Filesystem    MB blocks      Free %Used    Iused %Iused Mounted on   /dev/hd4        2048.00   1967.46    4%     6327     2% /   /dev/hd2        8192.00   4217.05   49%    70286     7% /usr   /dev/hd9var     1024.00    942.57    8%     4779     3% /var   /dev/hd3        1024.00    760.94   26%     5673     4% /tmp   /dev/hd1        2048.00   2045.79    1%       51     1% /home   /proc                 -         -    -         -     -  /proc   /dev/hd10opt    4096.00   1448.14   65%    12426     4% /opt   /dev/fs0       61440.00  61097.00    1%     4070     7% /gpfs/fs0

使用 AIX 的 df 命令顯示 /GPFS/FS0 已經(jīng)正常掛載，也可以使用 mmlsdisk 命令檢查文件系統(tǒng)是否正常 :

root@cmaix25 # mmlsdisk fs0 -L

接下來測試 GPFS 文件系統(tǒng)是否是可用的，命令參考清單 6

清單 6. 用 AIX 的 dd 命令測試 GPFS 文件系統(tǒng)

root@cmaix25 # dd if=/dev/zero of=test.img bs=1m count=100   root@cmaix25 # ls -l   total 406528   -rw-r--r--    1 root     system    104857600 Jan 15 17:16 test.img

至此，GPFS 文件系統(tǒng)已經(jīng)可用使用。

在 GPFS 文件系統(tǒng)上生成測試需要的小文件

下面的步驟是如何在 GPFS 文件系統(tǒng)上生成大量的文件，隨后的測試需要對這些文件進行備份操作。清單 7 是作者使用的一個 shell 腳本，隨機生成多個文件夾 , 并且在每個文件夾下生成大量的小文件數(shù)據(jù)到 GPFS 文件系統(tǒng)，供參考

清單 7. 生成文件的腳本

#!/usr/bin/ksh   file=1   while [ true ]; do   count=1   folder=$RANDOM$RANDOM   mkdir /gpfs/fs0/03/$folder   while (( $count<=10000 )); do   num=$RANDOM$RANDOM$RANDOM$RANDOM$RANDOM   echo $num > /gpfs/fs0/03/$folder/$num.txt   let count=count+1   done   count=1   let file=file+1   if [[ file -gt 1000 ]]; then   exit   fi   done

創(chuàng)建 GPFS 規(guī)則文件

大多數(shù)情況下，我們需要按照文件的生成時間、最后訪問時間、最后更改時間以及最后改變狀態(tài)的時間來掃描需要備份的文件，那么在 GPFS 文件系統(tǒng)中運用 mmapplypolicy 命令可以非�？焖�、靈活地搜索到需要的文件。并且除了文件中有最后訪問時間 ACCESS_TIME 、最后更改時間 MODIFICATION_TIME 以及最后改變狀態(tài)的時間 CHANGE_TIME 等文件屬性以外，GPFS 還提供了許多日期和時間函數(shù)，如：YEAR、MONTH、WEEK、DAY、HOUR、MINUTE、SECOND 等，這些函數(shù)可以更靈活的檢索文件。具體函數(shù)內(nèi)容可以參考 GPFS Infocenter。

下面介紹在 /gpfs/fs0 目錄下查找最后修改時間在某一指定日期以前的文件的方法。這些操作可以在任意的一個 GPFS 節(jié)點進行。

首先創(chuàng)建 GPFS 規(guī)則文件 time_ rule.txt, 查找時會按照規(guī)則文件定義的修改時間來過濾文件

清單 8. time_rule.txt

RULE EXTERNAL LIST 'listfiles' EXEC '' OPTS '' RULE 'ListLargeFiles' LIST 'listfiles' WHERE MODIFICATION_TIME < TIMESTAMP(mytime)

說明： mytime 是個宏變量，在引用這個 rule 的時候可以靈活的指定。

通過 GPFS 命令來取得需要備份的文件列表

我們的 GPFS 測試文件系統(tǒng)是 /GPFS/FS0，因此檢索的文件目錄就是 /GPFS/FS0，我們把滿足規(guī)則的文件保存到一個備份文件列表中。

清單 9. 利用 mmapplypolicy 命令按條件查找文件

/usr/lpp/mmfs/bin/mmapplypolicy /gpfs/fs0 -P time_rule.txt \ -M "mytime=\'2011-07-28\'" -L 3|grep '^/gpfs/fs0/'  > backup.list

其中，time_rule.txt 是我們在上一步中定義的規(guī)則文件，mytime 是一個 GPFS 時間變量，參數(shù) -L 代表把滿足要求的文件列出來

GPFS 通過并行應(yīng)用引擎去掃描文件，對比 AIX 上的 find 命令，GPFS 可以極大的提升文件的掃描效率，在我們的簡單實驗中，從 500 萬數(shù)據(jù)中取 5 萬的文件，只要 2 分鐘左右。隨著數(shù)據(jù)量的增大，GPFS 的優(yōu)勢會更加明顯。

TSM 根據(jù)結(jié)果集進行增量備份

使用 TSM 的 selective backup 方法來備份給定的備份列表文件 backup.list，這種備份方式是指無條件地備份指定的文件或者目錄, 而不管它是否被修改，通過這種方式，可以避免在大數(shù)據(jù)量情況下 TSM 通過文件系統(tǒng)掃描去得到備份列表的 I/O 開銷。

清單 10 . 使用 dsmc 備份給定的結(jié)果集

root@cmaix25 # ./dsmc selective -filelist=/gpfs/fs0/backup.list   Total number of objects inspected:   52,000   Total number of objects backed up:   52,000   Total number of objects updated:          0   Total number of objects rebound:          0   Total number of objects deleted:          0   Total number of objects expired:          0   Total number of objects failed:           0   Total number of bytes transferred:    2.68 MB   Data transfer time:                    0.12 sec   Network data transfer rate:        22,453.23 KB/sec   Aggregate data transfer rate:          4.28 KB/sec   Objects compressed by:                    0%   Elapsed processing time:           00:10:41

從備份的 log 看出，此次操作耗時 10 分鐘左右，而直接使用 TSM 增量備份，需要時間要在 2 個小時以上。通過對比，可以看出使用 GPFS 的性能遠(yuǎn)高于直接用 TSM 增量備份。

總結(jié)

綜上所述，本文用一個實例測試證明，使用 GPFS 來協(xié)助 TSM 完成增量備份，可以極大的縮短 TSM 增量備份的時間窗口，提升 TSM 的備份效率，滿足客戶的要求。

作者簡介

劉健，IBM 高級軟件工程師，現(xiàn)在 IBM 中國軟件開發(fā)中心 ECM 產(chǎn)品部門，具有多年的數(shù)據(jù)庫管理、性能調(diào)優(yōu)經(jīng)驗。對操作系統(tǒng)和并行文件系統(tǒng)都有研究。

周博韜，IBM 高級軟件工程師，現(xiàn)在 IBM 中國軟件開發(fā)中心 LBS 部門, 對 ECM 產(chǎn)品和文件系統(tǒng)有較深的研究。

http://www.ibm.com/developerworks/cn/aix/library/1111_liujian_gpfstsm/index.html