CUDA 软件栈批量部署与版本锁定：驱动、CUDA、cuDNN、NCCL
驱动、CUDA、cuDNN、NCCL 四个组件，版本各差一个小数点，训练结果和性能都可能不一样。384 卡 L40S 集群的做法是：先把版本矩阵锁死，再批量安装，最后逐项验证。本文记录这套流程。
1. 版本矩阵：一次锁定，全节点复用
| 组件 | 锁定项 | 理由 |
|---|---|---|
| NVIDIA 驱动 | 与内核/发行版匹配的版本 | 装错 = 模块加载失败或黑屏 |
| CUDA | 主版本号（如 12.x） | 训练框架依赖 CUDA 版本 |
| cuDNN | 与 CUDA 匹配的版本 | 推理/卷积算子性能 |
| NCCL | 与 CUDA/驱动匹配的版本 | 集合通信正确性与性能 |
判断：版本矩阵不是"选最新"，是选经过验证的组合——先在 1 台节点上完整验证（训练跑通 + 性能达标），再冻结为全集群标准，避免 48 台各自踩坑。
2. 批量安装：内网源 + 统一脚本
- 驱动/CUDA 安装包放到内网源，全节点从内网拉取（版本一致、不依赖公网）；
- 安装顺序固定：驱动 → CUDA → cuDNN → NCCL → 环境变量；
- 环境变量（
PATH/LD_LIBRARY_PATH）统一在/etc/profile.d/下发，禁止各自改.bashrc。
踩坑点：
- 驱动安装先卸载旧版（
nvidia-uninstall/rpm -e），残留会导致模块加载冲突； - CUDA 的
toolkit与driver分开装，业务容器可以只依赖 toolkit； - NCCL 版本和 PyTorch 内置的 NCCL 可能不一致——训练框架会用自己捆绑的版本，全集群统一框架安装方式比单独调 NCCL 更重要。
3. NCCL 关键参数：全集群统一
| 参数 | 建议值（按实测） | 作用 |
|---|---|---|
NCCL_P2P_LEVEL | PHB 起步实测 | 无 NVLink 卡走 PCIe 域的 P2P |
NCCL_NET_GDR_LEVEL | PXB 起步实测 | GPUDirect RDMA 路径 |
NCCL_IB_DISABLE | 0 | 确认走 IB 而非以太 fallback |
NCCL_SOCKET_IFNAME | 管理网口名 | 控制/元数据通道走管理面 |
这些参数写进全集群统一环境（Ansible 下发），不在应用里硬编码——换环境换参数时不用改代码。
4. 验证链：从驱动到集合通信
bash
nvidia-smi # 驱动正常、8 卡可见、功耗/温度正常
nvcc --version # CUDA toolkit 版本确认
python -c "import torch; print(torch.cuda.is_available(), torch.version.cuda)"
# 单机 NCCL 快速自检
mpirun -np 8 /opt/nccl-tests/build/all_reduce_perf -b 128M -e 128M -f 2 -g 1
# 跨机（2 节点）确认 GDR + IB 生效
NCCL_DEBUG=INFO 观察路径：IB/RDMA 而非 socket fallback验收判定：驱动/CUDA/cuDNN/NCCL 四版本号与版本矩阵一致 + 单机/跨机 allreduce 达标 + NCCL_DEBUG 确认走 RDMA。
5. 交付清单
- 版本矩阵文档化：驱动/CUDA/cuDNN/NCCL 四件套版本 + 验证过的框架组合；
- 内网源统一安装包，全节点同源；
- 环境变量统一下发，无节点级漂移；
- NCCL 参数全集群统一（Ansible），不在应用内硬编码；
- 验证链全过：nvidia-smi / nvcc / torch 自检 / 单机 / 跨机 NCCL。
本文基于 384 卡 L40S IB 集群交付实测整理；具体版本号与命令以现场实测为准。