引言
InfiniBand 是高性能计算领域的标杆网络协议,以低延迟、高带宽、原生 RDMA 支持著称。本文将从协议栈核心组件入手,深入剖析其工作机制。
子网管理(SM)
IB 子网管理器负责发现拓扑、分配 LID(Local Identifier)、配置路由表。SM 的状态机包括 Discover、Configure、Arm、Active 等阶段。
队列对(QP)与连接类型
QP 是 IB 通信的基本抽象,支持 RC(可靠连接)、UC(不可靠连接)、UD(不可靠数据报)等类型。大模型训练主要使用 RC 类型,保证数据可靠传输。
IB CM 连接建立
IB CM(Connection Manager)负责 QP 连接的建立与拆除,包括 REQ、REP、RTU 等消息交换。连接建立过程涉及路径解析、MTU 协商等。
P_Key 与分区
P_Key(Partition Key)用于 IB 网络隔离,不同分区的节点无法直接通信。多租户智算中心需要合理配置 P_Key 实现安全隔离。
总结
理解 IB 协议栈对智算网络工程师至关重要,信珩星途课程系统讲解这些核心概念。