YaFSDP：实践指南

2026-09-12 0

实际评估YaFSDP时，我先确认它解决的具体问题：YaFSDP：另一个完全分片的数据并行。一旦进入数据与知识处理环节，数据结构、更新策略和可追溯性会决定结果是否可信会直接影响交付，这也是我最关心的风险。落地前可以用一份规模可控且答案已知的数据集试跑，用模式兼容、增量更新、查询结果和来源追踪判断它是否真的省事。整体来看，它适合需要保留数据来路与变更记录的使用者拿来做对照测试，最终决定仍应回到真实结果和维护状态。

YaFSDP

概述
相对于 FSDP 的优势
示例
问题和疑问
引用

概述

YaFSDP 是一个分片数据并行框架，旨在与类似变压器的神经网络架构。 YaFSDP 开发并由 Yandex 维护。

您可以在我们的博客文章中找到有关 YaFSDP 内部结构的更多信息中型和哈布尔。

相对于 FSDP 的优势

YaFSDP 预训练 LLMs 的速度提高了 20%，并且在高内存压力条件。它旨在减少通信和内存运营开销。

YaFSDP:

FSDP:

基准测试

我们在各种预训练设置上对 YaFSDP 与 FSDP 进行了比较，包括：

7B至70B参数
64 至 256 台设备
每个序列 2048 到 8192 个标记

型号	GPU计数	序列长度	ckpt 层数	加速	YaFSDP 迭代时间(s)	FSDP 迭代时间(s)
羊驼 2 7B	64	2048	0	9.92%	0.81	0.90
羊驼 2 7B	64	4096	0	3.43%	1.16	1.21
羊驼 2 7B	64	8192	0	2.68%	2.23	2.29
羊驼 2 7B	128	2048	0	9.57%	0.87	0.97
羊驼 2 7B	128	4096	0	2.42%	1.19	1.22
羊驼 2 7B	128	8192	0	2.32%	2.25	2.31
羊驼2 13B	128	2048	0	12.10%	1.55	1.76
羊驼2 13B	128	4096	0	3.49%	2.06	2.14
羊驼 2 34B	128	2048	0	20.70%	3.39	4.27
羊驼 2 34B	256	2048	0	21.99%	3.51	4.50
羊驼 2 34B	256	4096	5	8.35%	5.33	5.81
羊驼2 70B	256	2048	10	21.48%	6.97	8.87
羊驼2 70B	256	4096	50	7.17%	11.07	11.93
羊驼3 8B	64	2048	0	11.91%	0.97	1.10
羊驼3 8B	64	4096	0	7.86%	1.36	1.48
羊驼3 70B	256	2048	20	26.60%	7.17	9.76

详情：

在每次运行中，每个设备的批量大小设置为 1。
speedup 表示 YaFSDP 和 FSDP 运行之间的相对迭代时间减少。
num-ckpt-layers 指的是变压器层数应用了激活检查点。
使用具有 A100 80 GB GPUs 的主机集群来测量性能。

示例

您可以在 examples 文件夹中找到使用堆栈进行 LLM 训练的示例：

clm.md 用于因果预训练
sft.md 用于监督微调

请注意，这两个示例都需要 Docker 映像，可以使用以下命令构建该映像 docker/build.sh 脚本。该图像基于 NVIDIA PyTorch image 以及一些修补过的库。库的补丁可以在 patches 文件夹。

问题和疑问

如果您遇到任何错误或有任何疑问，请随时打开 GitHub 问题。

喜欢(0)

pandas_market_calendars：实践指南

ai-learning-roadmaps：实践指南