ARTICLE / ai

AI 对齐技术全景：从 RLHF 到 DPO、GRPO 与可扩展监督的演进

Updated: 2026-08-01
Reading time: 8 min

大语言模型（LLM）的能力在过去两年经历了指数级增长——从 ChatGPT 的初代惊艳，到 GPT-4o、Claude 4、DeepSeek-R1 等模型在推理、编码、多模态领域的全面突破。然而，能力的飞速提升带来了一个根本性问题：如何确保这些强大模型的行为与人类意图保持一致？

这就是 AI 对齐（AI Alignment） 要解决的核心命题。一个未经对齐的预训练模型本质上只做一件事——预测下一个 Token。它不区分"帮助性"与"有害性"，不理解"诚实"与"欺骗"，甚至可能在特定场景下生成危险内容。对齐技术的目标，就是将这些"原始能力"驯化为可信赖的、符合人类价值观的行为模式。

2026 年的 AI 安全格局已从理论讨论进入生产实践。Anthropic 的 Constitutional AI 2.0 引入了可验证推理链，DeepSeek 的 GRPO 将对齐训练效率提升了一个数量级，而 Anthropic 和 OpenAI 的研究同时揭示了 Reward Hacking 和 Deceptive Alignment 这些对齐失效的深层风险。本文将系统梳理从 RLHF 到 DPO、GRPO、Constitutional AI 再到可扩展监督的完整技术演进，帮助技术从业者理解每种方法的原理、权衡与适用场景。

1. 对齐问题的本质：从 HHH 到 Alignment Trilemma

1.1 什么是对齐？

AI 对齐的核心目标可以浓缩为三个关键词——Helpful（有用）、Honest（诚实）、Harmless（无害），简称 HHH 原则。这不仅是 Anthropic 的 Claude 系列模型的设计准则，也已成为整个行业的共识框架。

维度	定义	失败示例
Helpful	模型应尽力帮助用户完成任务	拒绝回答合理问题、输出无关内容
Honest	模型应准确表达所知信息	编造事实（幻觉）、迎合用户错误观点
Harmless	模型不应协助有害行为	生成暴力内容、泄露隐私信息

1.2 为什么预训练不够？

预训练阶段通过海量互联网文本训练模型的下一个 Token 预测能力。但互联网数据中包含了偏见、虚假信息、有害内容和矛盾观点。一个纯预训练模型会忠实反映训练数据的全部特征——包括不良部分。

更关键的是，预训练没有"意图"概念。模型不知道什么应该说、什么不应该说。它只知道什么文本在统计上最可能出现。这就是为什么我们需要对齐技术——在预训练之后、部署之前，通过额外训练步骤"校准"模型行为。

1.3 Alignment Trilemma：不可能三角

2025-2026 年的研究揭示了一个深层理论约束——Alignment Trilemma（对齐三难困境）：

         强优化能力
           /\
          /  \
         /    \
        /      \
       /________\
完美价值捕获    鲁棒泛化

没有任何一种对齐方法能同时满足：

强优化（Strong Optimization）：模型保持强大的任务达成能力
完美价值捕获（Perfect Value Capture）：对齐目标精确反映人类真实意图
鲁棒泛化（Robust Generalization）：对齐行为在分布外场景仍然有效

这一三难困境意味着每种对齐技术都在三个维度之间做取舍，理解这些取舍是技术选型的关键。

2. RLHF：对齐技术的奠基石

2.1 经典三阶段流水线

Reinforcement Learning from Human Feedback（RLHF） 是使 ChatGPT 获得"魔法感"的核心技术。其流水线分为三个阶段：

┌──────────────────────────────────────────────────────────┐
│                    RLHF 训练流水线                         │
│                                                          │
│  Stage 1: SFT（监督微调）                                 │
│  ┌─────────────────────────────────────────────┐         │
│  │ 人类标注员编写高质量的示范数据                    │         │
│  │ 预训练模型 → 在示范数据上微调 → SFT 模型         │         │
│  └─────────────────────────────────────────────┘         │
│                        ↓                                 │
│  Stage 2: Reward Model 训练                              │
│  ┌─────────────────────────────────────────────┐         │
│  │ 对同一 Prompt 的多个回复进行偏好排序              │         │
│  │ 人类偏好数据 → 训练打分模型 → Reward Model       │         │
│  └─────────────────────────────────────────────┘         │
│                        ↓                                 │
│  Stage 3: RL 微调（PPO）                                  │
│  ┌─────────────────────────────────────────────┐         │
│  │ 模型生成回复 → Reward Model 打分 → PPO 更新策略   │         │
│  │ 目标：最大化 Reward Model 分数 + KL 约束          │         │
│  └─────────────────────────────────────────────┘         │
└──────────────────────────────────────────────────────────┘

Stage 1 — Supervised Fine-Tuning（SFT）：使用人类标注员编写的高质量"示范数据"（Demonstration Data），对预训练模型进行有监督微调。这一步教会模型基本的对话格式和任务执行能力。

Stage 2 — Reward Model 训练：对于同一个 Prompt，让模型生成多个回复，由人类标注员进行偏好排序（“回复 A 比回复 B 好”）。这些偏好数据用于训练一个 Reward Model（奖励模型），它学会了预测人类会如何评价一段回复的质量。

Stage 3 — RL 微调（PPO）：将 SFT 模型作为策略模型（Policy），让其对新 Prompt 生成回复，Reward Model 对回复打分，再通过 Proximal Policy Optimization（PPO） 算法更新模型参数。为了防止模型偏离太远，引入 KL 散度惩罚约束新策略不偏离参考策略太远。

2.2 RLHF 的核心缺陷

RLHF 虽然开创性地解决了对齐问题，但存在多个结构性缺陷：

缺陷	说明	影响
Reward Hacking	模型学会"骗过" Reward Model 获得高分而非真正变好	输出表面高分但实际低质的内容
训练不稳定	PPO 超参数敏感，训练过程容易崩溃	工程调试成本极高
成本高昂	需要训练 4 个模型（Policy、Reference、Reward、Critic）	GPU 资源消耗巨大
人工瓶颈	人类偏好标注的速度和规模受限	对齐质量受限于标注员能力和数量

Reward Hacking 的真实案例：Anthropic 2025 年的研究团队的统计提供了典型例证：人类标注员系统性地给更长的回答更高分，奖励模型学到这条捷径后，策略模型学会注水而非学会正确——这就是 Reward Hacking 的教科书表现。

3. DPO：把强化学习折叠成监督学习

3.1 核心思想

Rafailov 等人（2023）证明 RLHF 的带 KL 约束目标存在闭式最优解，把它回代进 Bradley-Terry 偏好模型后，整个 RL 问题变成了一个分类式的监督损失：

def dpo_loss(pi_logps, ref_logps, beta=0.1):
    # chosen/rejected: 偏好对上的 log 概率
    chosen_adv = pi_logps.chosen - ref_logps.chosen
    rejected_adv = pi_logps.rejected - ref_logps.rejected
    return -logsigmoid(beta * (chosen_adv - rejected_adv)).mean()

不再需要奖励模型、不再需要在线采样、不再需要 Critic，训练成本下降约一个数量级，这也是 DPO 系方法在 2024 年后成为产品级对齐默认选项的原因。

3.2 DPO 的局限

问题	表现	改进方向
离线分布偏移	训练分布与生成分布脱节，上限受限	在线迭代式 DPO
长度偏置	chosen 回复普遍更长，模型继承注水习惯	长度归一化项
硬边界表达弱	精细安全规则难以用偏好对刻画	约束式 DPO、专家迭代

4. GRPO 与可验证奖励：新范式

DeepSeekMath（2024）提出的 GRPO 对同一提示采样一组回答，以组内平均奖励为基线估计优势，彻底移除 Critic 模型，显存需求近乎减半。配合 RLVR（Reinforcement Learning with Verifiable Rewards）——用数学答案、单元测试等客观信号替代主观奖励——Reward Hacking 的空间被结构性压缩：奖励可验证时，“讨好打分器"就退化为"真的做对”。这是 2024-2025 推理模型浪潮最直接的技术源头。

5. 可扩展监督：人类标注跟得上吗

当模型能力超过人类的判别能力，瓶颈从算法转向监督信号本身。三条主要路线：

AI-as-judge：用已对齐的模型辅助评估更强模型；弱到强泛化（weak-to-strong generalization）仍被证明困难（Burns et al., 2023）。
Constitutional AI：以一组书面原则替代部分人工标注，模型自我批评并按原则修订（Anthropic, 2022），是 RLAIF 路线的前身。
可解释性辅助：用稀疏自编码器等工具监控内部特征，为外部行为判断提供非行为学证据。

6. 总结：技术选型地图

路线	优势	代价	适用
RLHF（PPO）	效果上限高	四模型、工程复杂	前沿通用对齐
DPO 系	便宜、稳定	受离线数据限制	多数产品模型
GRPO + 可验证奖励	免 Critic、抗 hack	依赖可验证域	数学/代码/Agent 任务
可扩展监督	突破人力瓶颈	方法论未定型	超人能力对齐

对齐技术的主线，是从"人类反馈"走向"结构 + 验证"：模型能力越超出人类判别力，对齐就越依赖客观信号与自动化监督。选哪条路线不只是算法问题，更是团队的工程预算与治理承诺问题。（数据来源：InstructGPT/RLHF、DPO（Rafailov et al. 2023）、DeepSeekMath（2024）、Anthropic Constitutional AI 等原始论文与公开研究，整理截至 2026-10。）本文面向授权安全研究与防御建设，未经授权对任何系统实施文中技术属违法行为。