程序中如何禁用Linux文件預(yù)讀和緩存機(jī)制

happy_fish100

本文主要供C/C++開發(fā)人員參考，其他技術(shù)人員酌情自取。


文件預(yù)讀和緩存機(jī)制在Linux下是默認(rèn)開啟的。對(duì)于隨機(jī)讀，預(yù)讀機(jī)制往往會(huì)導(dǎo)致讀放大。如果應(yīng)用程序自己實(shí)現(xiàn)了數(shù)據(jù)緩存，通常就不再需要操作系統(tǒng)提供的文件內(nèi)容緩存，比如數(shù)據(jù)庫(kù)。


Linux下有兩種方法可以禁用文件預(yù)讀和文件緩存機(jī)制。


第一種方法是使用 direct IO，這種方式操作系統(tǒng)既不會(huì)預(yù)讀，也不會(huì)啟用文件緩存。調(diào)用open函數(shù)時(shí)將flags參數(shù)加上標(biāo)記位O_DIRECT即可，簡(jiǎn)單直接有沒有？噢，No！這只是萬里長(zhǎng)征第一步，direct IO的噩夢(mèng)在于：讀寫buffer的內(nèi)存地址、文件偏移量和讀寫長(zhǎng)度都需要按設(shè)備的block size（注意：block size通常為512，不是通常為4KB的page size）對(duì)齊！對(duì)于數(shù)據(jù)讀取，對(duì)齊后可能會(huì)多讀出一些數(shù)據(jù)，返回對(duì)應(yīng)位置和長(zhǎng)度的數(shù)據(jù)即可。對(duì)于數(shù)據(jù)寫入，如果程序天然按對(duì)齊方式寫入，比如數(shù)據(jù)庫(kù)，此時(shí)不需要額外處理，否則就是噩夢(mèng)了。如果支持任意偏移量和長(zhǎng)度寫入，對(duì)于原地修改數(shù)據(jù)的方式，需要讀出原有數(shù)據(jù)和新數(shù)據(jù)組合，然后以對(duì)齊方式寫入。而對(duì)于追加寫入方式，如果不做合并寫的話，可能存在明顯浪費(fèi)硬盤空間的問題。


第二種方法是使用函數(shù) posix_fadvise，函數(shù)原型為：int posix_fadvise(int fd, off_t offset, off_t len, int advice); 其中的參數(shù)len取值為0，表示針對(duì)整個(gè)文件。advice為POSIX_FADV_RANDOM 關(guān)閉預(yù)讀機(jī)制，為POSIX_FADV_DONTNEED清除文件緩存。POSIX_FADV_RANDOM要在打開文件后立即設(shè)置（即事前設(shè)置），而POSIX_FADV_DONTNEED是清除緩存操作，在需要時(shí)調(diào)用（即事后調(diào)用），比如寫完一個(gè)文件后在close之前調(diào)用。如何在事前禁用Linux的文件緩存，有知道的朋友請(qǐng)不吝賜教。