HCIE-AI：DeepSpeed进阶篇

1.概述

DeepSpeed是一种深度学习训练工具，旨在通过分布式训练和混合精度技术来提高训练速度和节省资源。

2. 目标

3. 大模型训练难点

4. DeepSpeed在大模型训练的优势

5. 大模型训练内存

5.1 Model States Memory

训练期间大部分的内存被模型状态（Models States），也就是：优化器参数（Optimizer states）、梯度（Gradients）和模型参数（Parameters）所消耗。

梯度、模型参数、优化器为参数更新计算的一阶动量（momentum）和二阶动量（variance），模型参数备份

Model States Memory计算

5.2 Residual States Memory

6. DeepSpeed简介

7. DeepSpeed的压缩特性

8. DeepSpeed训练特性

8.1 ZeRO优化器

8.1.1 ZeRO

ZeRO有两组优化，ZeRO-DP旨在减少模型状态的内存占用，ZeRO-R旨在减少剩余内存消耗。

①

②

③

④

⑤

⑥

8.1.2 ZeRO-Offload

8.1.3 ZeRO-Infinity

8.1.4 ZeRO++

8.2 3D并行

8.3 通信优化

9. DeepSpeed推理特性

① 推理自适应并行

② 推理优化内核

③ 灵活的量化支持

10. 总结

本文首先介绍了DeepSpeed概况，然后详细介绍了它的主要特性ZeRO实现原理，在ZeRO基础上，DeepSpeed如何实现3D并行，最后讲解了DeepSpeed通信优化方法，笔试占比 6%。