GPU 的 AI 重造：从 CUDA Core 到 Tensor Core 与 NVLink
今天的"AI 算力"几乎就是 GPU 的代名词，但最初的 GPU 是给图形渲染设计的。它怎么一步步变成大模型的引擎？答案藏在两笔改造里：为矩阵运算而生的 Tensor Core，和把多卡连成一个大 GPU 的 NVLink。本文把它们讲透，衔接 加速器算力账 的量化方法。
1. GPU 为什么天生适合矩阵
图形渲染的本质是大量并行的小运算：几百万个像素，每个像素做独立的坐标变换与颜色计算。这和大模型的前向/反向计算结构上完全同构——都是"大量相同运算 × 海量数据"。
关键差异在吞吐优先：
| CPU | GPU | |
|---|---|---|
| 设计目标 | 单线程低延迟 | 海量线程高吞吐 |
| 核心 | 十几个复杂核 | 数千个简单核 |
| 擅长 | 分支、依赖强的任务 | 数据并行、计算密集任务 |
判断：矩阵乘法（GEMM）是 LLM 的 99% 计算量，本质是"大量乘加、无分支"——这正是 GPU 的甜区。
2. CUDA Core 与 Tensor Core：两种算力
- CUDA Core（FP32 核）：通用可编程核，每个核每周期做 1 次 FMA（2 FLOPs）。它让 GPU"什么都能算"，是灵活性的来源。
- Tensor Core（矩阵单元）：专门做小矩阵乘（如 4×4），一次指令完成整个矩阵的乘加。专精换效率——同样的芯片面积，Tensor Core 的 FP16 算力是 FP32 CUDA Core 的 4-10 倍。
| 卡 | CUDA Core FP32 | Tensor Core FP16 | 倍率 |
|---|---|---|---|
| A100 | 19.5 TFLOPS | 312 TFLOPS | 16× |
| H100 | 67 TFLOPS | 989 TFLOPS | 15× |
| L40S | 90.5 TFLOPS | 362 TFLOPS | 4× |
这就是"为什么规格书算力涨 10 倍"的答案：不是核变多了，是计算模式从"通用核硬算"换成了"专用矩阵单元"。
3. Tensor Core 的代际演进
| 代际 | 架构 | 关键新增 | 意义 |
|---|---|---|---|
| 第 1 代 | Volta (2017) | FP16 混合精度 | 推理训练的第一次提速 |
| 第 2 代 | Turing (2018) | INT8/INT4 | 推理量化落地 |
| 第 3 代 | Ampere (2020) | FP16×2 吞吐、稀疏 | 训练成本大降 |
| 第 4 代 | Hopper (2022) | FP8、Transformer Engine | FP8 训练成为可能 |
| 第 5 代 | Blackwell (2024) | FP4、第二代 Transformer Engine | 更低精度、更高吞吐 |
判断：每一代 Tensor Core 的"低精度化"都在把算力翻倍——但精度越低，混合精度训练与检查点 就越关键，这是算力账的另一半。
4. NVLink 与 NVSwitch：把多卡连成一个 GPU
单卡放不下大模型（见 超节点账），就需要把多卡高速连起来。NVLink 演进：
| 代际 | 单链路带宽 | 拓扑 | 意义 |
|---|---|---|---|
| NVLink 1 (P100) | 40 GB/s | 双卡直连 | 跨卡内存一致性雏形 |
| NVLink 2 (V100) | 100 GB/s | 双卡直连 | 训练通信提速 |
| NVLink 3 (A100/H100) | 150-200 GB/s | NVSwitch 全互联 | 8 卡任意两两直连 |
| NVLink 4 (H200/B200) | 300-450 GB/s | NVSwitch 二代 | 超级芯片形态 |
NVSwitch 的关键是全互联：8 张卡任意两两通信都走满带宽，集合通信（All-Reduce）不需要经过中间卡转发——这就是 集合通信拓扑 里"树/环 vs 全互联"的硬件基础。
5. 一张图看懂 GPU 的 AI 改造
计算 存储 互连 软件
────────────────────────────────────────────────
CUDA Core ──► 显存/HBM ──► PCIe（机间/直连） ──► CUDA/库
│ │ │
Tensor Core ──► NVLink/NVSwitch ──► NCCL（集合通信）
（矩阵专精） （大显存+高带宽） （多卡一体化） （通信抽象）核心逻辑：Tensor Core 解决"单卡算得够快"，HBM 解决"数据喂得够快"，NVLink/NVSwitch 解决"多卡协同得够快"——三者缺一，GPU 就还是"图形卡"而不是"AI 引擎"。
6. 交付清单
- 选卡先看 Tensor Core 精度档位（FP16/FP8/FP4），别只看 FP32；
- 训练/推理分别按对应精度的 TFLOPS 算账（见 算力账）；
- 多卡方案先确认 NVLink 拓扑：全互联（NVSwitch）才能让集合通信走满带宽；
- 无 NVLink 的卡（如 L40S）按 PCIe 带宽规划机内通信（见 L40S 无 NVLink）。
本文为本站整理思考后撰写，用于知识库学习交流；具体规格与实测数据以官方文档及现场为准。