05. 并行存储系统

本章定位：## 并行文件系统

• GPFS (Spectrum Scale): IBM 开发的高性能并行文件系统。
• Lustre: 开源的高性能文件系统，广泛用于超算中心。

存储分层 (Tiering)

• 热数据 (NVMe SSD)
• 温数据 (SATA SSD)
• 冷数据 (HDD/Tape)

AI 场景挑战

• 小文件随机读取 (海量图片/音频)
• Checkpoint 快速写入 (大模型容错)

🧭 阅读地图

• 前置章节：03. 集群架构设计——存储作为集群数据面，依赖整体架构
• 本章定位：第一部 L1 存储章——Lustre/BeeGFS/GPFS 部署与并行 IO 基准，解决"数据喂得进、读得快"
• 推荐顺序：先懂并行存储原理与分层，再按需选一款并行文件系统部署，存储基准评测见 04. 性能评测
• 下一章：06. 自动化装机——从"设计好"到"批量装出来"

文章目录

深度实战: 企业级 BeeGFS 高性能存储部署与调优手册

BeeGFS 实践方案。涵盖从底层硬件规划、OS 调优、单节点多实例架构设计，到 Buddy Mirror 高可用、Quota 配额及 BeeOND 临时加速层的完整技术细节。

阅读文章 →

实战指南: IBM Spectrum Scale (GPFS) ECE 集群部署

基于真实生产环境的 GPFS ECE (Erasure Code Edition) 实施手册，涵盖 IB 网络配置、NVMe 磁盘映射、恢复组创建及客户端挂载。

阅读文章 →

Lustre 2.15.7 部署指南 (EL8)

基于 RHEL/Rocky Linux 8 的 Lustre 并行文件系统安装、配置与挂载全流程指南。

阅读文章 →

存储高级特性

- 多租户 IO 隔离与 QoS - 元数据热点治理 - 检查点与冷数据分层策略

阅读文章 →

训练数据存储选型：对象存储、并行文件系统与本地 NVMe 的分工

三类存储定位、数据流分析与分级架构。

阅读文章 →