認識Quick I/O 和Cached Quick I/O (vxfs)

風之幻想

首先，來介紹一下什么是Quick I/O合Cached Quick I/O。VERITAS Quick I/O是VXFS為oracle數(shù)據(jù)庫提供的一種特殊的功能。數(shù)據(jù)庫和文件系統(tǒng)有機的整合在一起同時更好的幫助系統(tǒng)管理員和數(shù)據(jù)庫管理員進行oralce數(shù)據(jù)庫服務(wù)器的配置。同時，VERITAS Quick I/O還為普通文件的創(chuàng)建提供裸設(shè)備接口。它避開了一定得文件系統(tǒng)開銷的操作方式（比如：數(shù)據(jù)鎖層面的操作）同時提供kernel的異步I/0（KAIO），因此，Quick I/O為文件系統(tǒng)管理和裸設(shè)備性能方面帶來的便捷。Cached Quick I/O是一種增強型Quick I/O，它能夠幫助oracle DBA更好的使用大系統(tǒng)內(nèi)存的效率。
換句話來說，傳統(tǒng)的文件系統(tǒng)，由于對文件的single write lock存在，導(dǎo)致文件系統(tǒng)在并發(fā)環(huán)境中讀寫效率比較低。而裸設(shè)備則不存在這個問題。Quick I/O其實就是消除了單寫鎖，提高文件系統(tǒng)的效率。
Cached Quick I/O是對Quick I/O的一種增強處理，核心的思想就是不斷的記錄訪問的文件的頻度，將最熱的文件放在cache中，提高cache的命中率，從而提高文件系統(tǒng)的效率。
使用Cached Quick I/O可以更好的在文件系統(tǒng)下運行數(shù)據(jù)庫。
能夠方便的提供系統(tǒng)生產(chǎn)環(huán)境下的文件I/O統(tǒng)計。
收集在用文件的文件I/O統(tǒng)計。
使用Cached Quick I/O能夠方便的分析文件的I/O統(tǒng)計。
不使用Cached Quick I/O在命中率上差異較大。
可以簡單的理解這兩個特性：
1）Quick I/O解決的是傳統(tǒng)的unix文件系統(tǒng)的single write lock問題。
2）Cached Quick I/O解決的是cache的命中率問題。

先來介紹一下Quick I/O。
首先確認使用的文件系統(tǒng)是vxfs。這是VERITAS storage foundation的特性。
需要購買veritas license
使用veritas提供的腳本來創(chuàng)建需要轉(zhuǎn)化的數(shù)據(jù)文件列表
$/opt/VRTSdbed/bin/qio_getdbfiles執(zhí)行該腳本可以將vxfs下所有需要轉(zhuǎn)化的數(shù)據(jù)文件都輸出到mkqio.dat文件中。腳本目錄在/opt/VRTSdbed/bin。在老的版本中這個腳本名稱為：getdbfiles.sh.
   這個腳本會自動排除所有類型為temproary的數(shù)據(jù)文件。這些文件在轉(zhuǎn)化之后，oracle將無法進行寫入。
mkqio.dat文件也可以自己手工創(chuàng)建。但必須要注意排除temporary datafiles。文件中包含數(shù)據(jù)文件和大小，樣例如下：

$cat mkqio.dat
/db01/file1 210358
/db01/file2 157996
/db01/file3 38098
/db01/file4 394935
/db01/file5 911787
/db01/redo_t04.log 209715
在上面的過程中，數(shù)據(jù)庫需要打開。

$/opt/VRTSdbed/bin/qio_convertdbfiles，執(zhí)行該腳本轉(zhuǎn)化mkqio.dat列表中的數(shù)據(jù)文件。在老的版本中這個腳本名稱為：mkqio.sh
在轉(zhuǎn)化之前，必須先關(guān)閉數(shù)據(jù)庫。
這些腳本都以oracle用戶執(zhí)行。
那么現(xiàn)在再來說如何啟動Cached Quick I/O呢?可以通過使用命令vxtunefs命令將qio_cache_enable標志改為1來設(shè)定。命令如下：

# vxtunefs -s -o qio_cache_enable=1 /mount_point

比如：

# /opt/VRTSvxfs/sbin/vxtunefs -s -o qio_cache_enable=1 /happy

vxfs vxtunefs: Parameters successfully set for /happy

接下來看如何關(guān)閉Cached Quick I/O呢?可以通過使用命令vxtunefs命令將qio_cache_enable標志改為0來設(shè)定。命令如下：

# vxtunefs -s -o qio_cache_enable=0 /mount_point

比如：

# /opt/VRTSvxfs/sbin/vxtunefs -s -o qio_cache_enable=0 /happy1

vxfs vxtunefs: Parameters successfully set for /happy1

如果想讓Cached Quick I/O設(shè)置固定不受重啟的影響，就需要在/etc/vx/tunefstab文件下面增加qio_cache_enable條目。
如果tunefstab不存在的話，需要手工加一個就可以了。
舉例：
/dev/vx/dsk/datadg/datavol  qio_cache_enable=1
/dev/vx/dsk/datadg/myvol    qio_cache_enable=1

可以通過vxtunefs命令來查看Cached Quick I/O的情況。
命令如下：
# vxtunefs  /mount_point

舉例：
# /opt/VRTSvxfs/sbin/vxtunefs /happy
Filesystem i/o parameters for /happy
read_pref_io = 65536
read_nstream = 1
read_unit_io = 65536
write_pref_io = 65536
write_nstream = 1
write_unit_io = 65536
pref_strength = 10
buf_breakup_size = 131072
discovered_direct_iosz = 262144
max_direct_iosz = 1048576
default_indir_size = 8192
qio_cache_enable = 1
write_throttle = 15104
max_diskq = 1048576
initial_extent_size = 8
max_seqio_extent_size = 2048
max_buf_data_size = 8192
hsm_write_prealloc = 0   

# /opt/VRTSvxfs/sbin/vxtunefs  /happy1
Filesystem i/o parameters for /happy1
read_pref_io = 65536
read_nstream = 1
read_unit_io = 65536
write_pref_io = 65536
write_nstream = 1
write_unit_io = 65536
pref_strength = 10
buf_breakup_size = 131072
discovered_direct_iosz = 262144
max_direct_iosz = 1048576
default_indir_size = 8192
qio_cache_enable = 0
write_throttle = 15104
max_diskq = 1048576
initial_extent_size = 8
max_seqio_extent_size = 2048
max_buf_data_size = 8192
hsm_write_prealloc = 0   

同時還可以為個別文件設(shè)置Cached Quick I/O。使用qioadmin命令來設(shè)置文件的Cached Quick I/O。使用qiostat或者其他的分析工具來分析文件的Cached Quick I/O。當打開和關(guān)閉個人文件的Cached Quick I/O時，需要數(shù)據(jù)庫是運行的。通過使用qiostat命令來觀察文件的緩存命中率是否發(fā)生足夠的改變打開或者關(guān)閉Cached Quick I/O對于個人文件也需要考慮設(shè)置cache.
關(guān)閉個人文件的Cached Quick I/O使用qioadmin命令設(shè)置標志位OFF。
命令如下：
# qioadmin -S file=OFF mount_point
舉例：
# /opt/VRTSvxfs/sbin/qioadmin -S myfile=OFF /happy

打開個人文件的Cached Quick I/O使用qioadmin命令設(shè)置標志位ON。
命令如下：
# qioadmin -S file=ON mount_point
舉例：
# /opt/VRTSvxfs/sbin/qioadmin -S myfile=ON /happy

如果想讓設(shè)置一直生效不受重啟的影響需要在文件/etc/vx/qioadmin下增加相應(yīng)的條目。
如果這個文件不存在，可以手工添加上去。
cache建議使用qioadmin來存儲時需要加上Inode屬性。這些設(shè)置可以在重新mount和系統(tǒng)重啟中一直生效，但是，這些屬性通過一般的備份方法并不能被備份。他們是不能恢復(fù)的，因此，任何一次文件系統(tǒng)的恢復(fù)都需要重新設(shè)置屬性。如果在/etc/vx/qioadmin增加了Quick I/O文件系統(tǒng)條目的話，這些工作可以不需要做。

/etc/vx/qioadmin的文件內(nèi)容如下：
以happy文件系統(tǒng)為例：
device=/dev/vx/dsk/datadg/datavol
myfile, OFF
mydata, ON

可以通過是使用qioadmin命令的-P選項來查看現(xiàn)在文件的Cached Quick I/O情況。
命令如下：
# qioadmin -P file mount_point

例如：

# /opt/VRTSvxfs/sbin/qioadmin -P myfile /happy

myfile,OFF

# /opt/VRTSvxfs/sbin/qioadmin -P mydata /happy

mydata,ON

[ 本帖最后由 風之幻想 于 2009-5-14 11:51 編輯 ]

hexilanlan

看不懂,也頂個.

doging

vxfs很強大

alex_linux

用的太少,反正我沒見過

山野村夫

vxfs還是不錯的

alongx

多強大的東西啊 ，可惜一直沒機會碰

風之幻想

veritas的很多的理念真的是很不錯。

wolfop

cached quick IO，能保證數(shù)據(jù)庫寫是durable的么？難道只是讀做了cache？

風之幻想

I/O on files using read() and write() system calls typically results in data being copied
twice: once between user and kernel space, and later between kernel space and disk. In
contrast, I/O on raw devices is direct. That is, data is copied directly between user space
and disk, saving one level of copying. As with I/O on raw devices, Quick I/O avoids the
extra copying.

anfield

veritas版本的裸設(shè)備。
和傳統(tǒng)的單純的裸設(shè)備比較，下面一段話是不錯的總結(jié)
VERITAS Quick I/O has been developed to combine the performance advantages of raw volumes with the maintenance advantages of a journaled file system. Studies conducted at the Large Systems Support Belmont data center showed performance benefits similar to raw volumes. The availability of the traditional UNIX file commands greatly improves the ability of the technical staff to manage the database files correctly and efficiently. VERITAS Quick I/O deserves serious consideration for implementation in any data center running Oracle databases on UNIX.