認(rèn)識Quick I/O 和Cached Quick I/O (vxfs)

風(fēng)之幻想

首先，來介紹一下什么是Quick I/O合Cached Quick I/O。VERITAS Quick I/O是VXFS為oracle數(shù)據(jù)庫提供的一種特殊的功能。數(shù)據(jù)庫和文件系統(tǒng)有機的整合在一起同時更好的幫助系統(tǒng)管理員和數(shù)據(jù)庫管理員進行oralce數(shù)據(jù)庫服務(wù)器的配置。同時，VERITAS Quick I/O還為普通文件的創(chuàng)建提供裸設(shè)備接口。它避開了一定得文件系統(tǒng)開銷的操作方式（比如：數(shù)據(jù)鎖層面的操作）同時提供kernel的異步I/0（KAIO），因此，Quick I/O為文件系統(tǒng)管理和裸設(shè)備性能方面帶來的便捷。Cached Quick I/O是一種增強型Quick I/O，它能夠幫助oracle DBA更好的使用大系統(tǒng)內(nèi)存的效率。\r\n換句話來說，傳統(tǒng)的文件系統(tǒng)，由于對文件的single write lock存在，導(dǎo)致文件系統(tǒng)在并發(fā)環(huán)境中讀寫效率比較低。而裸設(shè)備則不存在這個問題。Quick I/O其實就是消除了單寫鎖，提高文件系統(tǒng)的效率。\r\nCached Quick I/O是對Quick I/O的一種增強處理，核心的思想就是不斷的記錄訪問的文件的頻度，將最熱的文件放在cache中，提高cache的命中率，從而提高文件系統(tǒng)的效率。\r\n使用Cached Quick I/O可以更好的在文件系統(tǒng)下運行數(shù)據(jù)庫。\r\n能夠方便的提供系統(tǒng)生產(chǎn)環(huán)境下的文件I/O統(tǒng)計。\r\n收集在用文件的文件I/O統(tǒng)計。\r\n使用Cached Quick I/O能夠方便的分析文件的I/O統(tǒng)計。\r\n不使用Cached Quick I/O在命中率上差異較大。\r\n可以簡單的理解這兩個特性：\r\n1）Quick I/O解決的是傳統(tǒng)的unix文件系統(tǒng)的single write lock問題。\r\n2）Cached Quick I/O解決的是cache的命中率問題。\r\n\r\n先來介紹一下Quick I/O。\r\n首先確認(rèn)使用的文件系統(tǒng)是vxfs。這是VERITAS storage foundation的特性。\r\n需要購買veritas license\r\n使用veritas提供的腳本來創(chuàng)建需要轉(zhuǎn)化的數(shù)據(jù)文件列表\r\n $/opt/VRTSdbed/bin/qio_getdbfiles執(zhí)行該腳本可以將vxfs下所有需要轉(zhuǎn)化的數(shù)據(jù)文件都輸出到mkqio.dat文件中。腳本目錄在/opt/VRTSdbed/bin。在老的版本中這個腳本名稱為：getdbfiles.sh.\r\n   這個腳本會自動排除所有類型為temproary的數(shù)據(jù)文件。這些文件在轉(zhuǎn)化之后，oracle將無法進行寫入。\r\n mkqio.dat文件也可以自己手工創(chuàng)建。但必須要注意排除temporary datafiles。文件中包含數(shù)據(jù)文件和大小，樣例如下：\r\n\r\n$cat mkqio.dat\r\n/db01/file1 210358\r\n/db01/file2 157996\r\n/db01/file3 38098\r\n/db01/file4 394935\r\n/db01/file5 911787\r\n/db01/redo_t04.log 209715\r\n在上面的過程中，數(shù)據(jù)庫需要打開。\r\n\r\n $/opt/VRTSdbed/bin/qio_convertdbfiles，執(zhí)行該腳本轉(zhuǎn)化mkqio.dat列表中的數(shù)據(jù)文件。在老的版本中這個腳本名稱為：mkqio.sh\r\n在轉(zhuǎn)化之前，必須先關(guān)閉數(shù)據(jù)庫。\r\n這些腳本都以oracle用戶執(zhí)行。\r\n那么現(xiàn)在再來說如何啟動Cached Quick I/O呢?可以通過使用命令vxtunefs命令將qio_cache_enable標(biāo)志改為1來設(shè)定。命令如下：\r\n\r\n# vxtunefs -s -o qio_cache_enable=1 /mount_point\r\n\r\n比如：\r\n\r\n# /opt/VRTSvxfs/sbin/vxtunefs -s -o qio_cache_enable=1 /happy\r\n\r\nvxfs vxtunefs: Parameters successfully set for /happy\r\n\r\n接下來看如何關(guān)閉Cached Quick I/O呢?可以通過使用命令vxtunefs命令將qio_cache_enable標(biāo)志改為0來設(shè)定。命令如下：\r\n\r\n# vxtunefs -s -o qio_cache_enable=0 /mount_point\r\n\r\n比如：\r\n\r\n# /opt/VRTSvxfs/sbin/vxtunefs -s -o qio_cache_enable=0 /happy1\r\n\r\nvxfs vxtunefs: Parameters successfully set for /happy1\r\n\r\n如果想讓Cached Quick I/O設(shè)置固定不受重啟的影響，就需要在/etc/vx/tunefstab文件下面增加qio_cache_enable條目。\r\n如果tunefstab不存在的話，需要手工加一個就可以了。\r\n舉例：\r\n/dev/vx/dsk/datadg/datavol  qio_cache_enable=1\r\n/dev/vx/dsk/datadg/myvol    qio_cache_enable=1\r\n\r\n可以通過vxtunefs命令來查看Cached Quick I/O的情況。\r\n命令如下：\r\n# vxtunefs  /mount_point\r\n\r\n舉例：\r\n# /opt/VRTSvxfs/sbin/vxtunefs /happy\r\nFilesystem i/o parameters for /happy\r\nread_pref_io = 65536\r\nread_nstream = 1\r\nread_unit_io = 65536\r\nwrite_pref_io = 65536\r\nwrite_nstream = 1\r\nwrite_unit_io = 65536\r\npref_strength = 10\r\nbuf_breakup_size = 131072\r\ndiscovered_direct_iosz = 262144\r\nmax_direct_iosz = 1048576\r\ndefault_indir_size = 8192\r\nqio_cache_enable = 1\r\nwrite_throttle = 15104\r\nmax_diskq = 1048576\r\ninitial_extent_size = 8\r\nmax_seqio_extent_size = 2048\r\nmax_buf_data_size = 8192\r\nhsm_write_prealloc = 0   \r\n\r\n# /opt/VRTSvxfs/sbin/vxtunefs  /happy1\r\nFilesystem i/o parameters for /happy1\r\nread_pref_io = 65536\r\nread_nstream = 1\r\nread_unit_io = 65536\r\nwrite_pref_io = 65536\r\nwrite_nstream = 1\r\nwrite_unit_io = 65536\r\npref_strength = 10\r\nbuf_breakup_size = 131072\r\ndiscovered_direct_iosz = 262144\r\nmax_direct_iosz = 1048576\r\ndefault_indir_size = 8192\r\nqio_cache_enable = 0\r\nwrite_throttle = 15104\r\nmax_diskq = 1048576\r\ninitial_extent_size = 8\r\nmax_seqio_extent_size = 2048\r\nmax_buf_data_size = 8192\r\nhsm_write_prealloc = 0    \r\n\r\n同時還可以為個別文件設(shè)置Cached Quick I/O。使用qioadmin命令來設(shè)置文件的Cached Quick I/O。使用qiostat或者其他的分析工具來分析文件的Cached Quick I/O。當(dāng)打開和關(guān)閉個人文件的Cached Quick I/O時，需要數(shù)據(jù)庫是運行的。通過使用qiostat命令來觀察文件的緩存命中率是否發(fā)生足夠的改變打開或者關(guān)閉Cached Quick I/O對于個人文件也需要考慮設(shè)置cache.\r\n關(guān)閉個人文件的Cached Quick I/O使用qioadmin命令設(shè)置標(biāo)志位OFF。\r\n命令如下：\r\n# qioadmin -S file=OFF mount_point\r\n舉例：\r\n# /opt/VRTSvxfs/sbin/qioadmin -S myfile=OFF /happy\r\n\r\n打開個人文件的Cached Quick I/O使用qioadmin命令設(shè)置標(biāo)志位ON。\r\n命令如下：\r\n# qioadmin -S file=ON mount_point\r\n舉例：\r\n# /opt/VRTSvxfs/sbin/qioadmin -S myfile=ON /happy\r\n\r\n如果想讓設(shè)置一直生效不受重啟的影響需要在文件/etc/vx/qioadmin下增加相應(yīng)的條目。\r\n如果這個文件不存在，可以手工添加上去。\r\ncache建議使用qioadmin來存儲時需要加上Inode屬性。這些設(shè)置可以在重新mount和系統(tǒng)重啟中一直生效，但是，這些屬性通過一般的備份方法并不能被備份。他們是不能恢復(fù)的，因此，任何一次文件系統(tǒng)的恢復(fù)都需要重新設(shè)置屬性。如果在/etc/vx/qioadmin增加了Quick I/O文件系統(tǒng)條目的話，這些工作可以不需要做。\r\n\r\n/etc/vx/qioadmin的文件內(nèi)容如下：\r\n以happy文件系統(tǒng)為例：\r\ndevice=/dev/vx/dsk/datadg/datavol\r\nmyfile, OFF\r\nmydata, ON\r\n\r\n可以通過是使用qioadmin命令的-P選項來查看現(xiàn)在文件的Cached Quick I/O情況。\r\n命令如下：\r\n# qioadmin -P file mount_point\r\n\r\n例如：\r\n\r\n# /opt/VRTSvxfs/sbin/qioadmin -P myfile /happy\r\n\r\nmyfile,OFF \r\n\r\n# /opt/VRTSvxfs/sbin/qioadmin -P mydata /happy\r\n\r\nmydata,ON\n\n[ 本帖最后由 風(fēng)之幻想 于 2009-5-14 11:51 編輯 ]

alex_linux

用的太少,反正我沒見過

alongx

多強大的東西啊 ，可惜一直沒機會碰

風(fēng)之幻想

veritas的很多的理念真的是很不錯。

wolfop

cached quick IO，能保證數(shù)據(jù)庫寫是durable的么？難道只是讀做了cache？

風(fēng)之幻想

I/O on files using read() and write() system calls typically results in data being copied\r\ntwice: once between user and kernel space, and later between kernel space and disk. In\r\ncontrast, I/O on raw devices is direct. That is, data is copied directly between user space\r\nand disk, saving one level of copying. As with I/O on raw devices, Quick I/O avoids the\r\nextra copying.

anfield

veritas版本的裸設(shè)備。\r\n和傳統(tǒng)的單純的裸設(shè)備比較，下面一段話是不錯的總結(jié)\r\nVERITAS Quick I/O has been developed to combine the performance advantages of raw volumes with the maintenance advantages of a journaled file system. Studies conducted at the Large Systems Support Belmont data center showed performance benefits similar to raw volumes. The availability of the traditional UNIX file commands greatly improves the ability of the technical staff to manage the database files correctly and efficiently. VERITAS Quick I/O deserves serious consideration for implementation in any data center running Oracle databases on UNIX.

bxwz2004

那么， oracle 數(shù)據(jù)庫的 datafile 是放在了 veritas 的文件系統(tǒng)上呢 還是 裸設(shè)備上？\r\n\r\n感覺樓主是放到了文件系統(tǒng)上了， 但是 oracle 有自己的 data buffer 呀, 還要經(jīng)過veritas 的文件系統(tǒng)的cache 嗎。 為什么不能直接將數(shù)據(jù)文件放到裸設(shè)備上，更省事啊。難道就是為了能夠在裸設(shè)備上方便地使用 unix 命令進行操作嗎？

孔方兄

在原來IO性能是瓶頸的時候挺好，但是現(xiàn)在存儲的IO性能大幅度提升，價格快速下降的時代，已經(jīng)意義不大了。。。還不如把那個錢買好點的存儲呢；另外ZFS等已經(jīng)引入了這些概念，關(guān)鍵還是免費的。。。\n\n[ 本帖最后由 孔方兄 于 2009-5-15 22:15 編輯 ]

bxwz2004

是啊 ， 原來SUN的產(chǎn)品不盡如人意的時候， 需要牛逼的veritas罩著， 現(xiàn)在 SUN 在文件系統(tǒng)和集群方面取得進步后， 還需要veritas嗎？可能就剩備份這塊兒了吧？