AI Infra 量化分析

本章定位：在动手搭集群、选模型、配推理参数之前，先用数量级估算把账算清——搬什么、搬多少、搬几次、经过哪里、谁必须等它。方法框架参考开源书稿《深入理解 AI Infra：量化分析与系统设计》（李博杰，Apache-2.0），全部公式与算例为本站自行推导整理，可复算；实测细节见 03 章集群、04 章网络、12 章训练与 13 章推理各篇。

🧭 阅读地图

• 前置章节：无（全书起点）
• 本章定位：第〇部 L0 量化方法论——动手搭集群、选模型、配参数之前，先用数量级估算把显存/算力/带宽的账算清；本书后续每一章的资源决策都可回本章复算
• 推荐顺序：按卡片顺序 1→12（…→ 超节点 → 通信拓扑 → 端边云）（推理账 → 架构账 → 优化边界 → 训练账 → 算力账 → 通信账 → 算子账 → 分布式推理 → 利用率 → 超节点 → 通信拓扑）：推理账 → 架构账 → 优化边界 → 训练账 → 算力账 → 通信账 → 算子账 → 分布式推理 → 利用率账
• 下一章：02. 硬件与芯片——算完账，认识算力基座的第一个积木

量化分析方法论

推理资源账：一次生成需要多少显存、算力与带宽

显存（权重+KV+工作区）、算力（prefill/decode）、带宽（每 token 读权重）三本账与可复算 Python 函数。

阅读文章 →

从模型架构到资源需求：注意力、KV 与 MoE

MHA/GQA/MQA 的 KV 缓存账、MoE 稀疏激活的带宽账，架构选型的量化决策清单。

阅读文章 →

推理优化边界：批处理、KV 管理与推测解码何时有效

continuous batching / KV 量化 / 前缀缓存 / 推测解码的量化适用条件与无效边界。

阅读文章 →

训练资源账：显存、通信与重算的权衡

权重/梯度/优化器/激活四份状态、All-Reduce 通信随并行度增长、重算换显存的决策规则。

阅读文章 →

加速器算力账：从规格书到可交付 FLOPs

理论算力推导、算术强度与 roofline 判定算力/带宽瓶颈、decode 为什么是带宽受限，附 L40S/H 系列对比。

阅读文章 →

通信账：All-Reduce 随规模增长的带宽模型

环状 All-Reduce 带宽模型、busbw 与卡数/节点数的关系、为什么梯度全规约要 IB、L40S 无 NVLink 的机内上限。

阅读文章 →

算子与运行时账：roofline、算子融合与 FlashAttention 的 IO 账

roofline 判定瓶颈、算子融合省多少显存搬移、FlashAttention 把 IO 复杂度从 O(N²) 降到 O(N)。

阅读文章 →

分布式推理账：模型放不下时，状态放哪里

张量并行的显存/通信账、KV 状态在分布式推理中的放置、prefill/decode 分离与扩缩容恢复。

阅读文章 →

GPU 利用率账：为什么利用率低，共享能省多少卡

请求稀疏/显存碎片/隔离开销三笔账，连续批处理把利用率拉起来的量化账与省卡计算。

阅读文章 →

超节点账：容量、吞吐与同步代价

超节点=机内互连包装成一个大 GPU：聚合容量怎么算、机内/机间带宽差一个数量级、同步占比<30% 才扩规模。

阅读文章 →

集合通信拓扑量化：ring、tree 与 rail 的带宽账

三种拓扑的带宽/延迟模型、SHARP 在网归约何时优于 ring、同 rail 一跳与跨 rail 经 spine 的量化对比。

阅读文章 →

端边云协同账：任务放本地、边缘还是云端

延迟/效果/成本/带宽四笔账联合决策：本地小模型 vs 云端大模型+RTT 的交叉点、买硬件 vs 租 GPU 小时的盈亏平衡。

阅读文章 →