03. 集群架构设计
本章定位：从算力规划、网络架构（IB/RoCE）到 MPI 并行编程与 L40S 智算集群交付实战——L1 核心章，覆盖集群从设计到上线的完整链路。
你将获得
- 集群算力规划：从业务需求到机架与电力预算
- IB 与 RoCE 网络架构、部署与运维（含万卡参数平面）
- MPI 并行环境搭建与编程实战
- 384 卡 L40S IB 智算集群全流程交付
🧭 阅读地图
- 前置章节：02. 硬件与芯片——硬件拓扑与选型是集群设计的前提
- 本章定位：第一部 L1 核心章——规划（算力/网络）→ 网络（IB/RoCE 架构与运维）→ 并行编程（MPI）→ 项目交付（L40S 系列）
- 推荐顺序：算力规划 → 网络架构（万卡胖树 / RoCE）→ 网络部署与运维 → MPI 实战 → L40S 集群系列
- 下一章：04. 性能评测——用基准测试给集群定基线
文章目录
集群规划与设计
网络：IB 与 RoCE
万卡级 IB 参数平面：1250 台 HGX H100 的三层胖树架构拆解
10000 GPU、320 Leaf + 320 Spine + 256 Core 的 1:1 无收敛胖树：整体拓扑、POD 局部、报文路径全拆解。
阅读文章 →
ROCE AI Fabric 高性能网络架构详解
面向万卡集群的超高性能以太网解决方案，深度解析 AR 自适应路由、多轨组网架构及 SONiC 交换机配置实战。
阅读文章 →
Mellanox IB 网络运维与性能调优指南
从 OFED 驱动安装、交换机固件升级，到 MPI/OSU 基准测试及误码率排查的全栈运维手册。
阅读文章 →
HPC-X ClusterKit IB 网络测试经验
使用 NVIDIA HPC-X 工具包中的 ClusterKit 进行 InfiniBand 网络带宽与延迟测试的实战指南。
阅读文章 →
InfiniBand 在 AI 训练中的性能调优实战指南
生产级指南：面向分布式 AI 训练的 InfiniBand 性能优化，涵盖 NCCL 调优、GPUDirect RDMA、NUMA 亲和性以及真实压测方法论。
阅读文章 →
UFM Enterprise 6.16 裸金属安装指南
NVIDIA UFM Enterprise (Unified Fabric Manager) 在 RHEL 7.9 裸金属环境下的安装、依赖配置及服务启动全流程。
阅读文章 →
GPU 训练网络故障排查手册：丢包、拥塞与 NCCL 超时
三类高频故障的症状/诊断/根因/修复与决策树。
阅读文章 →
集合通信原语与库：从 MPI 到 NCCL 的通信域与算法
通信域与原语分类、各原语搬多少数据、MPI 与 NCCL 定位差异、NCCL 拓扑感知架构。
阅读文章 →
MPI 并行编程实战
MPI 入门：oneAPI 安装与第一个并行环境
离线安装 Intel oneAPI（Base + HPC Toolkit）、静默安装命令、环境加载与常见踩坑。
阅读文章 →
MPI Hello World 实战
从 hello.c 出发跑通编译、单机多进程、多机运行，解读 rank 输出与网络 fabric 参数。
阅读文章 →
MPI 编程实战：从 Hello 到并行归约
点对点通信到 MPI_Reduce 集合通信的完整可编译代码，实现并行求和与结果验证。
阅读文章 →
MPI 点对点通信实战：环形接力与延迟实测
环形接力（MPI_Sendrecv）与 ping-pong 延迟/带宽实测，附跨节点 fabric 观察与完整命令。
阅读文章 →
MPI 集合通信实战：从 Bcast 到 Allreduce
广播/并行求和/全局统计三例可编译代码，并解读 HPL 网格 P×Q 与 BCAST 算法。
阅读文章 →
MPI + Slurm 实战：作业调度与性能调优复盘
srun/sbatch 提交、进程布局与绑定，1 节点 104 核到 80 节点的 HPL 调优复盘。
阅读文章 →
项目实战：384 卡 L40S IB 智算集群
384 卡 L40S IB 集群部署：方案工程思考
48 节点 × 8×L40S + 4×200G HDR IB：三面分离、Rail 拓扑、IB 原生无损与验收哲学。
阅读文章 →
IB 三面分离落地：PKey、SL/VL 与 IPoIB
计算/存储/管理三面物理隔离，PKey 0x100/0x200 流量隔离、OpenSM 主备与验收命令。
阅读文章 →
Rail 拓扑 + 1.5:1 收敛设计
48 节点也按万卡思维：Rail 优化 Fat-Tree、2×200G Breakout、SM 自动发现与扩展路径。
阅读文章 →
MLNX_OFED 与 VPI LINK_TYPE 实战
VPI 双模卡切 IB 模式：mstconfig 烧录、驱动栈、ibstat/ibv_devinfo 验证与常见坑。
阅读文章 →
Kickstart + 内网源 + Ansible 批量交付
48 节点软件栈版本一致性：Kickstart 批量装机、统一内网 YUM/pip 源、Ansible 下发与一致性验收。
阅读文章 →
openEuler 内核与系统优化
BIOS 统一清单、内核参数、NUMA 与中断亲和，每一步都有验证命令。
阅读文章 →
CUDA 软件栈版本锁定与批量部署
驱动/CUDA/cuDNN/NCCL 版本矩阵、内网源安装、NCCL 关键参数与逐项验证。
阅读文章 →
L40S 无 NVLink：NCCL 与单机通信账
无 NVLink 的三个隐含约束、NUMA 亲和、busbw 基线与可执行调优清单。
阅读文章 →
验收与性能基线：从硬件核对到 NCCL
分层核对、基线存档、性能不达标逐层排查——逐步证伪而不是跑通即通过。
阅读文章 →
功耗与散热：单机 4.6kW 的供电制冷账
单机功耗账、机柜密度、上下电策略与满载验证。
阅读文章 →