大模型训练阶段包含哪些

大模型的训练过程通常被形象地比作“一个孩子的成长过程”。目前业界公认的主流路径主要分为四个核心阶段。

以下是按照先后顺序排列的详细阶段：

1. 预训练阶段 (Pre-training, PT) —— “博览群书”

这是最耗时、最烧钱、也是最关键的阶段。

• 目标： 让模型学习人类语言的规律、常识和基础逻辑。
• 数据： 使用海量的无标签文本数据（如 Wikipedia、Common Crawl 网页数据、代码仓库、图书等），数据量通常以 TB 或 PB 计。
• 方式： 自监督学习（通常是“完形填空”或“预测下一个词”）。
• 结果： 得到一个“底座模型”（Base Model）。这个模型知识极其丰富，但由于它只是在模仿人类说话，它可能不会听指挥，甚至会胡言乱语。

2. 有监督微调阶段 (Supervised Fine-Tuning, SFT) —— “规矩教育”

有了底座模型后，需要教它如何理解人类的指令。

• 目标： 让模型学会“问答格式”。你问它一个问题，它知道应该给出答案，而不是重复你的问题。
• 数据： 高质量的有标签数据。即：Prompt（指令）+ Answer（标准答案）。通常由人工编写，数量在几万到几十万条之间。
• 结果： 得到一个“指令微调模型”（Instruct/Chat Model）。此时的模型已经可以进行基本的对话和任务执行。

3. 奖励模型训练阶段 (Reward Modeling, RM) —— “树立三观”

模型现在会说话了，但我们需要让它说出“更好”、“更安全”的话。

• 目标： 构建一个能够给模型回答结果打分的“评分器”。
• 方式：
  1. 让模型针对同一个问题生成几个不同的回答。
  2. 请人类（标注员）对这些回答进行排序（比如：A > B > C）。
  3. 将这些排序数据喂给另一个较小的模型，训练它学会人类的偏好标准。
• 结果： 得到一个“奖励模型”，它能自动判断哪个回答更符合人类的胃口。

4. 强化学习对齐阶段 (Reinforcement Learning from Human Feedback, RLHF) —— “磨砺性格”

这是目前顶级大模型（如 ChatGPT、Llama 3）拉开差距的关键一步。

• 目标： 使模型生成的回答既有用、又真实、且无害（Helpful, Honest, Harmless）。
• 方式：
  • 使用 PPO 或 DPO 等算法。
  • 让模型生成回答，由上一步训练好的“奖励模型”来打分。
  • 根据分数反馈，不断调整模型的参数，鼓励它多产生高分回答。
• 结果： 得到最终的正式版模型。

总结对比表