]FastCFS 是一款強一致性、高性能、高可用、支持百億級海量文件的通用分布式文件系統(tǒng)，可以作為MySQL、PostgresSQL、Oracle等數(shù)據(jù)庫，k8s，KVM，F(xiàn)TP，SMB和NFS等系統(tǒng)的后端存儲。]數(shù)據(jù)庫作為IO密集型軟件，對磁盤IO和網(wǎng)絡(luò)IO性能要求比較高。把數(shù)據(jù)庫跑在分布式文件系統(tǒng)上，必然會碰到網(wǎng)絡(luò)IO這個性能瓶頸。使用RDMA是消除網(wǎng)絡(luò)IO瓶頸的有效方法，但使用原生libverbs進行RDMA網(wǎng)絡(luò)編程，需要對使用socket的網(wǎng)絡(luò)應(yīng)用程序做大量改造和適配工作，門檻非常高。]SMC-R（Shared Memory Communication over RDMA）是一種基于 RDMA 技術(shù)、兼容 socket 接口的內(nèi)核網(wǎng)絡(luò)協(xié)議，由 IBM 提出并在2017年捐獻給Linux內(nèi)核。SMC-R可以幫助TCP網(wǎng)絡(luò)應(yīng)用程序透明使用RDMA，在網(wǎng)絡(luò)通信上獲得高帶寬和低時延。]2021年10月20日的杭州云棲大會上，阿里云發(fā)布第四代神龍架構(gòu)。第四代神龍架構(gòu)的網(wǎng)絡(luò)延遲降低80%，同時升級至全新的eRDMA網(wǎng)絡(luò)架構(gòu)，是業(yè)界首個大規(guī)模彈性RDMA加速能力。對于性能如此強悍的RDMA網(wǎng)絡(luò)，我一直期待有機會體驗一下。]我最近終于幸運地獲得了第四代神龍架構(gòu)ECS的公測資格，租用了4臺最新的ecs.c8y.4xlarge實例（3副本服務(wù)器+1臺客戶端）通過fio測試FastCFS的讀性能，對是否啟用彈性RDMA進行性能對比測試：bs=4KB和8并發(fā)情況下，隨機讀IOPS 111,572 vs. 85,693，提升30%；順序讀IOPS 182,861 vs. 145,752，提升25%。注：為了對比測試網(wǎng)絡(luò)性能，F(xiàn)astCFS服務(wù)端和客戶端全部使用內(nèi)存文件系統(tǒng) /dev/shm。]只有一組3副本服務(wù)器的情況下，F(xiàn)astCFS 8并發(fā)隨機讀超過11萬IOPS，達到了生產(chǎn)環(huán)境數(shù)據(jù)庫的磁盤IO性能要求。在配備NVMe SSD及RDMA網(wǎng)絡(luò)的情況下，F(xiàn)astCFS完全可以做到低延遲和高吞吐，滿足高性能場景下的文件讀寫性能要求。]啟用主網(wǎng)卡的彈性RDMA特性，碰到了一個坑，給大家分享一下。租用ECS的第2步“網(wǎng)絡(luò)和安全組”， 如果第一次租用當(dāng)前可用區(qū)的ECS（比如華北2的可用區(qū)I），上方的網(wǎng)絡(luò)交換機部分只能選擇默認(rèn)，此時下方的主網(wǎng)卡沒有“彈性RDMA接口”這個選項，這種情況下租用的ECS將沒有RDMA設(shè)備。解決方法：先租用一臺第四代神龍架構(gòu)ECS，阿里云后臺會自動創(chuàng)建該可用區(qū)的交換機，隨即釋放這個ECS實例；再次租用時默認(rèn)就是該區(qū)的交換機，此時主網(wǎng)卡設(shè)置界面就有“彈性RDMA接口”選項了。]本次測試的相關(guān)配置和文檔附錄：]附1. ecs.c8y.4xlarge配置：16 vCPU（Yitian 710）、32G內(nèi)存、 最高16Gbps網(wǎng)絡(luò)帶寬]服2. FastCFS運維工具介紹：FastCFS運維工具介紹| 歡迎光臨 Chinaunix (http://72891.cn/) | Powered by Discuz! X3.2 |