為 AIX 配置 Infiniband

HEDAODI

　InfiniBand 是一項互連技術，它通過將傳統(tǒng)的共享總線體系結構轉換到交換光纖體系結構來打破 PCI 總線的帶寬和扇出限制。這是一項將服務器、存儲設備和網(wǎng)絡設備捆綁在一起的交換光纖 I/O 技術。與 PCI 發(fā)送數(shù)據(jù)所采用的并聯(lián)方式不同，InfiniBand 以串聯(lián)方式發(fā)送數(shù)據(jù)，并且通過多路復用信號可以同時承載多個通道。

　　IBM AIX 610 支持 InfiniBand 硬件和在 InfiniBand 上運行的多種協(xié)議。本文介紹如何配置 InfiniBand 和在 AIX 上設置 IP over InfiniBand 接口 (IpoIB)。本文還說明了如何使用可靠數(shù)據(jù)報套接字（Reliable Datagram Sockets，RDS），該協(xié)議與 UDP 類似，設計用于在 InfiniBand 上使用套接字來發(fā)送和接收數(shù)據(jù)。

　　配置 InfiniBand

　　通過使用 IP over IB (IPoIB)，可以在 InfiniBand (IB) 網(wǎng)絡接口上發(fā)送 Internet 協(xié)議 (IP) 數(shù)據(jù)包。IPoIB 將 IP 數(shù)據(jù)包封裝到 IB 數(shù)據(jù)包中，并通過 IB 接口發(fā)送。為了使用 IPoIB，您必須在系統(tǒng)中安裝和配置 ICM（InfiniBand Communication Manager）驅動程序和至少一個 IB 設備。需要執(zhí)行下列步驟以配置 IB 設備，然后使用 ICM 配置 IPoIB。

　　在配置 InfiniBand 之前，您需要檢查在您的 AIX 主機上是否配置了 IB 設備（例如，InfiniBand HCA - InfiniBand 主通道適配器）并且其處于“可用 (Available)”狀態(tài)。若要檢查狀態(tài)，請執(zhí)行以下命令：

　　 # lsdev -Cc adapter | grep "host channel" iba0 Available InfiniBand host channel adapter

　　或者

　　 # lsdev -Cc adapter | grep "HCA" iba0 Available 01-00 PCIE Dual Port HCA (b3157862)

　　配置 ICM (InfiniBand Communication Manager)。若要配置 ICM，請執(zhí)行下列步驟：

　　smit icm -> Add an InfiniBand Communication Manager -> Add an InfiniBand Communication Manager -> 選擇 ICM（為“Name of IB Communication manager to Add”），隨后將看到如圖 1 所示的屏幕。

　　圖 1. 配置 ICM

　　

　　按 Enter為各個字段使用缺省值。下個屏幕將顯示“Command:OK”和“icm Available”。ICM 配置已完成。

　　若要檢查 ICM 是否已配置完成，請執(zhí)行以下命令：

　　 # lsdev -l icm icm Available InfiniBand Communication Manager

　　配置 InfiniBand 網(wǎng)絡接口�？梢允褂妹�令行接口或 SMIT 用戶界面來配置 IB 接口。

　　若要使用 SMIT 配置 IB 接口，請執(zhí)行下列步驟：

　　smit inet -> Change / Show Characteristics of a Network interface -> 選擇 ib0 (IP over InfiniBand Network Interface)。您將看到如圖 2 所示的屏幕。

　　圖 2.配置 IB 接口

　　

　　為下列字段輸入值：

　　Internet Address（例如，1.2.3.92）

　　Network mask（例如，255.255.255.0）

　　HCA adapter（我們在步驟 1 中配置的 iba0）

　　Adpater’s port number。有兩個端口：端口 1 和端口 2。使用命令 ibstat檢查哪個端口處于“活動 (Active)”狀態(tài)。如果兩個端口都是活動的，則根據(jù)您的網(wǎng)絡配置選擇希望使用的端口。

　　Current state – up

　　在其余字段使用缺省值。

　　下個屏幕將顯示“Command:OK”和“ib0 changed”。IB 接口配置已完成。

　　若要檢查 IB 接口狀態(tài)，請運行 ifconfig命令。

　　 # ifconfig ib0 ib0: flags=e3a0063 inet 1.2.3.92 netmask 0xffffff00 broadcast 1.2.3.255 tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1

　　使用命令行接口配置 IB 接口。

　　步驟 1 和步驟 2 與上例相同。對于步驟 3，請執(zhí)行下列命令：

　　 # /usr/sbin/mkiba -a 1.2.3.92 -i ib0 -A iba0 -p 2 -P 0xFFFF -S up -m 255.255.255.0 -M 2044 ib0 changed

　　mkiba命令的語法如下：

　　 /usr/bin/mkiba {-a address -i interface -A ib_adapter -p ib_port [-P P_KEY] [-m subnet_mask] [-S state] [ -M mtu ] [ -q queue_pair_size ] [ -Q Q_KEY ] [-k superpacket] }

　　其中：　　

-a address 由 –i 指定的接口的 IP 地址（必須采用以點分隔的十進制表示法）
-i interface 與 -a IP 地址相關聯(lián)的接口
-A ib_adapter 與接口相關聯(lián)的 IB 適配器
-p ib_port 與 IB 適配器關聯(lián)的 IB 端口。（缺省值為 1）
-P p_key 與 IB 端口相關聯(lián)的分區(qū)鍵。鍵（請注意，分區(qū)鍵在配置后即無法更改。在進行配置之前，用戶必須從網(wǎng)絡管理員處獲得分區(qū)鍵）。
-m subnet_mask  子網(wǎng)掩碼（點分十進制或 0x 表示法）
-S state down、up、detach：IB 接口的狀態(tài)。
-M ib_mtu 必需的 HCA MTU
-q srq_size 發(fā)送和接收隊列的大小
-Q Q_KEY 與多播組相關聯(lián)的 Q_Key
-k superpacket Superpacket 功能關或開


　　請記住以下事項：

　　Superpacket 的 –k 選項在 AIX 61B 和 53N 以上的版本中可用，較低的版本不包含 superpacket 功能。同樣，當啟用此功能時，可以顯著地提高性能。它允許 TCP/IP 向接口發(fā)送 64KB 數(shù)據(jù)報，其可以提高性能。請注意，該功能在 AIX 中僅在 AIX 主機到 AIX 主機的情況下受支持，前提是兩個主機上的接口都啟用此功能。

　　HCA MTU 大小的 –M 選項。在交換機和適配器支持的情況下，AIX 支持 4K 物理 MTU。接口首次要求用戶在交換機中創(chuàng)建廣播多播組。如果組不存在，則始終缺省創(chuàng)建 2K 多播組。因此，如果您擁有支持 4K 物理 MTU 的適配器和交換機，并且您沒有在交換機中創(chuàng)建廣播組，則接口將創(chuàng)建 2K 多播組，從而使 MTU 降低到 2K。

　　運行 ifconfig以檢查 IB 接口狀態(tài)。

　　 # ifconfig ib0 ib0: flags=e3a0063 inet 1.2.3.92 netmask 0xffffff00 broadcast 1.2.3.255 tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1

　　工作已完成！IB 接口已配置完畢。

　　若要驗證是否一切工作正常，請使用上述步驟配置兩個節(jié)點，并在兩個節(jié)點之間運行 ping 命令。如果 ping 成功，則 IB 配置正確。

　　配置 RDS

　　RDS 使用 IB 網(wǎng)絡接口進行通信。因而，應當配置 IpoIB 和 IB 網(wǎng)絡接口以使用 RDS 協(xié)議。

　　在您希望使用 RDS 進行通信的系統(tǒng)上加載 RDS 驅動程序之前，請檢查這些系統(tǒng)上的 IB 網(wǎng)絡接口是否能夠彼此 ping 通。

　　加載 RDS

　　運行下列命令以加載 RDS：

　　 # bypassctrl load RDS

　　如果您接收到錯誤消息 Exec format error ..，則表示未配置 IB 接口。請參閱配置 InfiniBand并配置 IB 接口，然后嘗試使用 bypassctrl命令加載 RDS。

　　如果已加載了 RDS，將顯示錯誤消息 /usr/lib/drivers/RDS already loaded。

　　若要檢查 RDS 驅動程序是否已成功加載，請運行下列命令：

　　 # genkex | grep RDS 47e1000 53770 /usr/lib/drivers/RDS

　　如果創(chuàng)建了套接字以使用 RDS 協(xié)議并返回錯誤 socket: Addr family not supported by protocol，則未加載 RDS 驅動程序，并且您需要加載它。同樣，請注意在重新啟動時，RDS 驅動程序將被卸載，因此在每次重新啟動后需要使用 bypassctrl實用工具重新加載它。

　　RDSctrl 實用工具

　　加載 RDS 后，使用 RDSctrl(/usr/sbin/RDSctrl) 實用工具獲取用于修改可調(diào)節(jié)參數(shù)和用于診斷的 RDS 統(tǒng)計數(shù)據(jù)。

　　# RDSctrl stats命令顯示各種 RDS 統(tǒng)計數(shù)據(jù)。

　　可以使用以下命令重置統(tǒng)計數(shù)據(jù)：

　　# RDSctrl stats reset.

　　優(yōu)化參數(shù)

　　在加載 RDS 后和運行任何 RDS 應用程序之前，可以優(yōu)化下列 RDS 參數(shù)。若要設置任何參數(shù)，請使用語法：

　　 # RDSctrl set =

　　RDS_sendspace參數(shù)引用基于流的發(fā)送緩沖區(qū)的高水位標記 (high-water mark)。（每個套接字可能有多個流。）

　　缺省值為 524288 字節(jié) (512KB)。使用以下命令設置該值：

　　 # RDSctrl set RDS_sendspace=
　　RDS_recvspace引用基于套接字的接收緩沖區(qū)的基于流的高水位標記 (per-flow high-water mark)。對于該套接字的每個附加流，該值將提高接收高水位標記。

　　缺省值為 524288 字節(jié) (512 KB)。使用以下命令設置該值：

　　# RDSctrl set RDS_recvspace=
　　為了實現(xiàn)好的 RDS 流性能，RDS_sendspace和 RDS_recvspace參數(shù)的值必須至少設置為最大 RDS sendmsg 大小的四倍。RDS 為接收的每四條消息發(fā)送一個 ACK，如果 RDS_recvspace沒有設置為消息大小的 4 倍以上，那么吞吐量將非常低。

　　RDS_mclustsize引用各個內(nèi)存集群的大小，它也是消息片段的大小。缺省大小為 16384 字節(jié) (16KB)。使用以下命令設置該值（通常為 4096 的倍數(shù)）： # RDSctrl set RDS_mclustsize=
　　RDS_mclustsize值在集群中的所有計算機（節(jié)點）上必須相同。更改該值也會影響性能。

　　可以使用以下命令獲取為可調(diào)節(jié)參數(shù)設置的當前值：

　　 # RDSctrl get
　　如果在沒有任何可調(diào)節(jié)參數(shù)的情況下運行該命令，則給出可調(diào)節(jié)參數(shù)的完整列表。

　　# RDSctrl get提供可調(diào)節(jié)參數(shù)的列表并包含其當前值。

　　 # RDSctrl get RDS_conn_block_limit = 100 RDS_acksz = 180 RDS_txqsz = 1024 RDS_rxqsz = 1024 RDS_mclustsize = 16384 RDS_recvspace = 524288 RDS_sendspace = 524288

　　數(shù)據(jù)結構轉儲

　　為了排除故障，可以轉儲各種 RDS 結構。使用的命令為 # RDSctrl dump
　　可以是以下任意值：

　　IBC（IB 可靠連接細節(jié)）

　　sendcb（流細節(jié)）

　　Pcb（RDS 套接字 PCB 細節(jié)）

　　結束語

　　您通過使用本文中的信息可以了解如何在 AIX 上配置 InfiniBand，以及如何在 InfiniBand 上配置和使用 RDS。您了解了用于配置 RDS 的命令；為了進一步了解 RDS 協(xié)議，請參考參考資料部分以獲取其他信息。