10. 异构计算:多芯多栈调度
本章定位:多芯共存、多栈并行的时代,异构计算的难点不在"装得上",而在"调度得顺"。本章覆盖驱动与 CUDA 环境、GPU 切分(MIG/MPS)、国产加速卡 CUDA 生态迁移、Slurm 异构调度四类高频工程问题。
🧭 阅读地图
- 前置章节:07. 调度与云原生 + 03. 集群架构设计——异构资源要在调度与拓扑框架下理解
- 本章定位:第二部 L2 收尾章——CUDA 工具链、MIG 分区、多厂商混布与国产加速卡迁移
- 推荐顺序:先 CUDA 工具链(安装/MPS)→ 资源切分(MIG)→ 异构调度 → 国产卡适配
- 下一章:09. AI 编译器——代码如何变成 GPU 上跑得快的算子
文章目录
GPU 驱动及 CUDA 安装流程指南
NVIDIA GPU 驱动与 CUDA Toolkit 的全平台(CentOS/Ubuntu/SUSE)安装、依赖配置、模块禁用及持久化设置详解。
阅读文章 →
CUDA MPS 实战:多进程共享 GPU 的小任务并发优化
以可复现命令逐段拆解 CUDA MPS:MPS 与 MIG 的定位差异、控制台/守护进程两种部署、并发小任务吞吐实验、超时与故障隔离注意事项,附工程启示。
阅读文章 →
国产 GPU/NPU 适配实战:从 CUDA 迁移到异构加速
以可复现流程逐段拆解国产加速卡适配:CUDA 生态迁移路线、昇腾/Ascend 等国产加速卡适配要点、算子映射与性能回退、双栈共存策略,附工程启示。
阅读文章 →
GPU 资源切分实战:MIG、vGPU 与多租户共享
多租户集群里一张 A100 常年利用率不足一半:MIG(硬件切分)、vGPU(虚拟化)、显存/时间片软切分的原理与选型,Slurm 集成与 gres 声明,以及隔离边界、NCCL 通信与故障域等实战坑。
阅读文章 →
Slurm 异构调度实战:CPU/GPU 混合集群的资源管理
Slurm 异构节点管理、gres 资源声明、队列与 QOS 设计、作业提交模板,以及 GPU/CPU 混算集群的调度策略与常见坑。
阅读文章 →
异构加速卡统一资源管理:NVIDIA/昇腾等多厂商混布调度
GRES 建模、混布策略、性能隔离与可观测性。
阅读文章 →
异构环境搭建与 GPU 切分(MIG/MPS)起步;调度场景先读 Slurm 异构调度;迁移场景进国产加速卡适配。
关键结论速览
异构调度的核心是"让每类芯片跑它最擅长的负载":用 MIG/MPS 提高小任务密度,用 Slurm 分区隔离不同架构,用统一工具链降低多栈维护成本。