FastCFS在eRDMA與傳統(tǒng)網(wǎng)絡環(huán)境下對比測試分享

happy_fish100

[color=rgb(18, 18, 1]FastCFS 是一款強一致性、高性能、高可用、支持百億級海量文件的通用分布式文件系統(tǒng)，可以作為MySQL、PostgresSQL、Oracle等數(shù)據(jù)庫，k8s，KVM，F(xiàn)TP，SMB和NFS等系統(tǒng)的后端存儲。

[color=rgb(18, 18, 1]數(shù)據(jù)庫作為IO密集型軟件，對磁盤IO和網(wǎng)絡IO性能要求比較高。把數(shù)據(jù)庫跑在分布式文件系統(tǒng)上，必然會碰到網(wǎng)絡IO這個性能瓶頸。使用RDMA是消除網(wǎng)絡IO瓶頸的有效方法，但使用原生libverbs進行RDMA網(wǎng)絡編程，需要對使用socket的網(wǎng)絡應用程序做大量改造和適配工作，門檻非常高。

[color=rgb(18, 18, 1]SMC-R（Shared Memory Communication over RDMA）是一種基于 RDMA 技術(shù)、兼容 socket 接口的內(nèi)核網(wǎng)絡協(xié)議，由 IBM 提出并在2017年捐獻給Linux內(nèi)核。SMC-R可以幫助TCP網(wǎng)絡應用程序透明使用RDMA，在網(wǎng)絡通信上獲得高帶寬和低時延。

[color=rgb(18, 18, 1]2021年10月20日的杭州云棲大會上，阿里云發(fā)布第四代神龍架構(gòu)。第四代神龍架構(gòu)的網(wǎng)絡延遲降低80%，同時升級至全新的eRDMA網(wǎng)絡架構(gòu)，是業(yè)界首個大規(guī)模彈性RDMA加速能力。對于性能如此強悍的RDMA網(wǎng)絡，我一直期待有機會體驗一下。

[color=rgb(18, 18, 1]我最近終于幸運地獲得了第四代神龍架構(gòu)ECS的公測資格，租用了4臺最新的ecs.c8y.4xlarge實例（3副本服務器+1臺客戶端）通過fio測試FastCFS的讀性能，對是否啟用彈性RDMA進行性能對比測試：bs=4KB和8并發(fā)情況下，隨機讀IOPS 111,572 vs. 85,693，提升30%；順序讀IOPS 182,861 vs. 145,752，提升25%。注：為了對比測試網(wǎng)絡性能，F(xiàn)astCFS服務端和客戶端全部使用內(nèi)存文件系統(tǒng) /dev/shm。

[color=rgb(18, 18, 1]只有一組3副本服務器的情況下，F(xiàn)astCFS 8并發(fā)隨機讀超過11萬IOPS，達到了生產(chǎn)環(huán)境數(shù)據(jù)庫的磁盤IO性能要求。在配備NVMe SSD及RDMA網(wǎng)絡的情況下，F(xiàn)astCFS完全可以做到低延遲和高吞吐，滿足高性能場景下的文件讀寫性能要求。

[color=rgb(18, 18, 1]啟用主網(wǎng)卡的彈性RDMA特性，碰到了一個坑，給大家分享一下。租用ECS的第2步“網(wǎng)絡和安全組”， 如果第一次租用當前可用區(qū)的ECS（比如華北2的可用區(qū)I），上方的網(wǎng)絡交換機部分只能選擇默認，此時下方的主網(wǎng)卡沒有“彈性RDMA接口”這個選項，這種情況下租用的ECS將沒有RDMA設備。解決方法：先租用一臺第四代神龍架構(gòu)ECS，阿里云后臺會自動創(chuàng)建該可用區(qū)的交換機，隨即釋放這個ECS實例；再次租用時默認就是該區(qū)的交換機，此時主網(wǎng)卡設置界面就有“彈性RDMA接口”選項了。

[color=rgb(18, 18, 1]本次測試的相關(guān)配置和文檔附錄：

[color=rgb(18, 18, 1]附1. ecs.c8y.4xlarge配置：16 vCPU（Yitian 710）、32G內(nèi)存、 最高16Gbps網(wǎng)絡帶寬

[color=rgb(18, 18, 1]服2. FastCFS運維工具介紹：FastCFS運維工具介紹

附3. 阿里云SMC-R說明：SMC-R是什么,使用方法有哪些_云服務器 ECS-阿里云幫助中心