Agentic RL与强化学习及OPD：OpenClaw-RL源码阅读笔记第二篇：On...

强化学习与知识蒸馏的融合正催生新一代AI训练范式。本文以OpenClaw-RL框架为切入点，深入解析On-Policy Distillation技术的核心原理与实践价值，揭示其如何突破传统方法的效率瓶颈。 【Agentic RL / 强化学习 / OPD】OpenClaw-RL 源码阅读笔记 --- (2)--- On-Policy Distillation 0x00 概要 0x01 On-Policy Distillation 1.1 核心定位：解决传统方法的两难 1.2 通俗类比 1.3 持续学习中的知识注入与能力保持困境 1.4 核心原理与数学形式 1.5 关键技术变体与演进 1.6 核心优势 1.7 与 DPO/PPO/KD 的核心区别 1.8 小结 0x02 Hindsight-Guided On-Policy Distillation 2.1 理解难点识别 2.2 实际信号 2.3 具体实现 2.4 小结 0x03 对比 3.1 标准 OPD vs OpenClaw OPD 3.2 正向 KL vs 反向 KL 0xFF 参考 0x00 概要 本系列旨在通过对OpenClaw-RL源码的解析，系统梳理强化学习的核心概念与技术演进。作为切入点，OpenClaw-RL展现了在线强化学习框架的创新设计，专门针对智能体工具使用场景。该框架通过环境反馈提取过程奖励信号训练语言模型，主要支持三种模式：基于二元奖励的强化学习（Binary RL / GRPO）、基于后见之明提示的在线策略蒸馏（OPD）以及结合RL reward和OPD teacher signal的联合方法。 framework 0x01 On-Policy Distillation 作为架构中最具创新性的核心设计，OPD完美融合了强化学习与知识蒸馏的优势。这种同策略蒸馏技术让学生在自身生成的轨迹上学习，同时获得教师模型提供的密集监督信号，既保持了传统RL的分布对齐特性，又具备监督学习的高效性。 OPD 1.1 核心定位：解决传统方法的两难 传统方法存在固有缺陷，OPD的创新在于： 方法 样本来源 反馈信号 核心优势 致命缺陷 标准RL 学生自生成 稀疏最终奖励 策略贴合自身 训练效率低下 离线蒸馏 教师生成 密集逐token监督 学习速度快 分布偏移严重 OPD 学生自生成 密集逐token监督 兼顾效率与稳定性 需维护教师模型 1.2 通俗类比 1.2.1 概述 RL：自主探索但反馈稀疏 离线蒸馏：照搬示范但脱离实际 OPD：自主实践+实时指导 1.2.2 详述 普通RL游戏 采用试错机制： 学生自主解题 仅获对错反馈 需自行分析错误 OPD游戏 引入智能辅导： 学生尝试解题 系统提供具体建议 教师示范标准解法 对比学习差异 1.3 持续学习困境 1.3.1 SFT的激进性 监督微调强制模型拟合外部数据分布，易导致： 参数空间剧烈偏移 预训练知识遗忘 1.3.2 RL的保守性 强化学习虽然稳定但存在： 稀疏奖励信号 高昂训练成本 1.3.3 SFT vs RL 维度 SFT RL 学什么 逐token模仿 策略空间优化 泛化机制 数据外推 流形内推 遗忘控制 无显式机制 KL锚点约束 1.4 核心原理 1.4.1 三步闭环 学生模型自主生成序列 教师模型逐步骤评估 最小化反向KL散度 1.4.2 理论等价性 OPD本质是带密集隐式奖励的KL正则化RL： 等价目标函数 Token级奖励设计 1:1的约束比例 1.5 技术演进 1.5.1 G-OPD 突破标准约束，引入： 奖励缩放因子 灵活参考模型 1.5.2 OPCD 面向上下文学习，实现： 知识内化 上下文感知 1.6 核心优势 训练效率提升10倍 无分布偏移 精准错误定位 小模型高效继承 1.7 方法对比 维度 OPD PPO DPO 监督信号 密集分布 稀疏标量 成对偏好 样本来源 同策略 同策略 混合策略 训练效率 ★★★★ ★★ ★★★ 1.8 小结 OPD通过"自主实践+实时指导"的范式，成为平衡效率与性能的理想选择，特别适合小模型的高效训练。 0x02 Hindsight-Guided OPD 2.1 理解难点 关键挑战在于将自然语言反馈转化为梯度信号，其中后见之明引导的OPD机制能够实现： 精确到token的修改 细粒度监督