大模型训练新突破！“不对称”训练让AI学会自我反思，推理零开销

字节团队提出全新的语言模型训练方法Post-Completion Learning (PCL)，首次实现了”训练-推理不对称”的设计理念。

该方法在训练阶段让模型对自己的输出进行反思与评估，在推理阶段则仅输出最终答案并完全内化反思能力。

相较于现有主流训练方式，PCL不仅显著提升模型性能且在推理过程中实现零额外开销。

实验数据显示该方法在保持高效推理的同时显著提升了输出质量与自我评估能力，为大语言模型训练开辟了全新技术路径。

通过具体对话案例可直观感受PCL的效果：当面对特定问题时 训练阶段：模型会完整生成包含推理过程及自我评估的完整内容，并通过多目标优化同步提升推理能力和评估水平 推理阶段：模型以作为新终止符仅输出推理部分 这种创新突破了传统语言模型的根本性限制——即训练与推理必须完全对称的传统范式。

现有方法通常以结束符(EOS)作为序列终止点，要求模型仅学习预测至结束符的内容形成”所训即所出”的对称约束。

这如同学生考试必须将所有思考过程写入答卷，而人类答题后常会进行质量检查与反思的环节在传统模型中却缺失。

PCL的核心突破在于打破这种对称性约束：通过引入临时终止符并在其后附加自我评估模块，在保持部署效率的同时赋予模型内省能力。

实验表明这种设计有效提升了模型的实际回答质量。

针对强化学习优化中普遍存在的”黑箱”问题（大模型仅被动接受外部奖励信号），研究团队创新性地实现了白盒化强化学习机制：直接教会模型计算奖励函数并进行自我评估。

这种设计使优化过程透明可解释——如同将”教师评分”转化为”学生自评”机制，使模型既掌握解题能力又理解评分标准。

在具体实现层面，PCL构建了统一混合训练框架将监督微调(SFT)与强化学习优化(GRPO)完美融合，在统一框架中进行多目标协同优化。

实验验证该方法在数学逻辑等领域的多个数据集上均取得性能提升，并通过消融实验证明其效果源于自我评估机制而非单纯依赖蒸馏或强化学习策略。

这项研究为大语言模型训练带来三大启示：1）不对称训练范式可兼顾性能提升与效率；

2）白盒化设计能增强优化透明度；

3）混合目标协同优化是有效路径。

论文显示这种创新方法有望成为未来大语言模型的标准训练范式。

论文链接：https://arxiv.org/abs/2507.20252