11. 分布式训练

本章节聚焦 3D 并行与大规模训练系统问题。

关注点

• 数据并行、张量并行、流水并行
• 通信与计算重叠
• 训练稳定性与吞吐优化