高性能大容量分布式目錄服務FastDIR簡介

happy_fish100

    作為通用分布式文件系統(tǒng)FastCFS核心組件之一，F(xiàn)astDIR是一款高性能、大容量分布式目錄服務，除了支持文件系統(tǒng)基本特性外，還實現(xiàn)了如下特性：
   * 支持全部類型：如socket、字符設備、符號鏈接等，還支持硬鏈接；
   * 文件鎖：完全支持POSIX文件鎖，支持按范圍加/解鎖；
   * 文件擴展屬性（x-attribute）：V2.0開始支持，用于保存存儲池相關屬性。


    FastDIR支持命名空間，一個命名空間對應一套目錄結(jié)構(gòu)，多個命名空間的目錄結(jié)構(gòu)相互獨立，可以通過命名空間隔離不同應用。FastCFS V2.0開始支持存儲池，一個存儲池對應FastDIR的一個命名空間。


    如果采用傳統(tǒng)的加鎖方式實現(xiàn)目錄結(jié)構(gòu)的修改和訪問，因鎖的粒度較大，會存在性能瓶頸。FastDIR引入了數(shù)據(jù)線程，一個數(shù)據(jù)線程管理多個命名空間（目錄結(jié)構(gòu)），數(shù)據(jù)線程以無鎖方式存取其管轄的目錄結(jié)構(gòu)。為了充分發(fā)揮多核CPU的能力，數(shù)據(jù)線程可以配置多個。FastDIR按命名空間路由到數(shù)據(jù)線程，一個命名空間下的目錄結(jié)構(gòu)只由一個數(shù)據(jù)線程處理，因此不需要鎖。


    FastDIR在內(nèi)存中使用跳表（skiplist）存儲目錄結(jié)構(gòu)，簡單高效。跳表由基礎庫libfastcommon提供，跳表及其結(jié)點的內(nèi)存分配均使用對象池。通過實測一個inode占用內(nèi)存大約270字節(jié)，由此推算64GB內(nèi)存可以存放2億個inode（注：內(nèi)存使用量按80%計算）。


    FastDIR采用binlog用于集群內(nèi)數(shù)據(jù)復制，binglog也是數(shù)據(jù)持久化的一種實現(xiàn)方式，程序啟動時通過binlog重放把數(shù)據(jù)全部加載到內(nèi)存中。V3.0通過存儲插件實現(xiàn)數(shù)據(jù)持久化，按需加載數(shù)據(jù)，配合LRU淘汰算法，單機以有限內(nèi)存（如64GB）支持百億級海量文件。


    存儲插件采用inode持久化數(shù)據(jù)和原有binlog配合的做法，對修改后的inode數(shù)據(jù)異步落盤，簡單高效。數(shù)據(jù)落盤需滿足如下兩個條件之一：
    * 修改的inode數(shù)目達到閾值，比如102400個；
    * 超過時間間隔，比如60秒。


    FastDIR存儲插件的LRU淘汰算法具有如下兩大特點：
    * 按目錄結(jié)構(gòu)淘汰：先淘汰子結(jié)點，然后淘汰父結(jié)點；
    * 按數(shù)據(jù)線程淘汰：每個數(shù)據(jù)線程作為一個獨立的數(shù)據(jù)單元，數(shù)據(jù)存取和淘汰均在其數(shù)據(jù)線程中以無鎖方式完成。


     友情提示：
      * FastDIR是通用分布式目錄服務，可以單獨部署，用來存儲其他場景下的目錄結(jié)構(gòu)；
      * 如果文件數(shù)只有千萬級，不需要啟用存儲插件；
      * 在生產(chǎn)環(huán)境啟用存儲插件，建議使用SSD，推薦使用NVMe SSD。


    FastDIR存儲插件可以隨時開啟和關閉，請大家在FastCFS項目官網(wǎng)下載使用最新版本V3.1，有任何疑問和建議，歡迎隨時反饋和交流。


    附FastCFS項目地址：https://gitee.com/fastdfs100/FastCFS