LLM 幻觉检测与缓解技术全景：从理论机制到生产级防护

训练数据中的错误 ──→ 模型学习到错误模式（GIGO）
        │
训练数据中的偏见 ──→ 模型放大偏见（ Amplification）
        │
长尾知识稀疏 ──→ 模型无法学到可靠表示

用户查询 ──→ LLM 生成回答
                │
                ▼
        ┌──────────────┐
        │ 检索外部知识源 │ ← Wikipedia / 知识图谱 / 搜索引擎
        └──────┬───────┘
               ▼
        ┌──────────────┐
        │ NLI 一致性判定 │ ← 自然语言推理模型判断蕴含/矛盾
        └──────┬───────┘
               ▼
          幻觉分数 / 标签

# 语义熵检测的伪代码示意
def semantic_entropy(response, model, n_samples=10):
    samples = [model.generate(response, temperature=0.7) 
               for _ in range(n_samples)]
    clusters = cluster_by_semantic_equivalence(samples)
    entropy = -sum(p * log(p) for p in cluster_distribution(clusters))
    return entropy  # 高熵 → 高幻觉风险

原始回答 ──→ 同一模型多次采样（K 次）
                │
                ▼
        对每个句子计算一致性分数
        ┌─────────────────────┐
        │ BERTScore 变体      │ → 语义相似度
        │ NLI 变体            │ → 蕴含关系
        │ LLM-Prompt 变体    │ → 让 LLM 判断
        └─────────────────────┘
                │
                ▼
        一致性低的句子 → 幻觉嫌疑

# CLAP 检测框架示意
class CLAPDetector:
    def __init__(self, base_model):
        self.probes = nn.ModuleDict({
            f'layer_{i}': LinearProbe(hidden_dim, num_classes=2)
            for i in range(base_model.num_layers)
        })
    
    def detect(self, input_text):
        hidden_states = base_model.get_hidden_states(input_text)
        votes = [self.probes[f'layer_{i}'](hidden_states[i])
                 for i in range(len(hidden_states))]
        return majority_vote(votes)  # 多层投票判定

用户查询 ──→ 查询改写/扩展
                │
                ▼
        ┌────────────────┐
        │ 混合检索引擎     │ ← 稠密向量 + 稀疏关键词 + 重排序
        └───────┬────────┘
                ▼
        Top-K 相关文档片段
                │
                ▼
        ┌────────────────┐
        │ Prompt 组装      │ ← 系统提示 + 上下文 + 用户问题
        └───────┬────────┘
                ▼
        LLM 生成回答（有据可依）

# 生产级系统提示模板（幻觉防护）
你是一个专业助手。请严格遵守以下规则：
1. 只使用提供的上下文信息回答问题
2. 如果上下文中没有相关信息，明确说"根据现有资料无法回答"
3. 对每个关键事实标注来源 [来源X]
4. 对不确定的内容使用"可能"、"据推测"等限定词
5. 不要编造引用、数据或案例

Step 1: 生成初始回答（可能包含幻觉）
          │
          ▼
Step 2: 规划验证问题（将回答拆解为可验证的事实声明）
          │
          ▼
Step 3: 独立回答验证问题（关键：不参考原始回答，避免确认偏误）
          │
          ▼
Step 4: 对比验证结果，生成修正后的最终回答

def cove_with_self_consistency(query, model, n_verification_paths=3):
    draft = model.generate(query)
    verification_questions = model.generate(
        f"针对以下回答，生成事实核查问题：\n{draft}"
    )
    
    verified_facts = []
    for q in verification_questions:
        independent_answers = [
            model.generate(q) for _ in range(n_verification_paths)
        ]
        consensus = self_consistency_vote(independent_answers)
        verified_facts.append((q, consensus))
    
    final = model.generate(
        f"原始问题：{query}\n验证结果：{verified_facts}\n"
        f"请生成修正后的回答，仅保留通过验证的事实。"
    )
    return final

┌─────────────────────────────────────────────────────┐
│                  生产级幻觉防护架构                    │
│                                                     │
│  Layer 1: 输入层                                      │
│  ├── 查询改写（Query Rewriting）                      │
│  ├── 意图识别（Intent Classification）                │
│  └── 敏感领域标记（Domain Tagging）                    │
│                                                     │
│  Layer 2: 生成层                                      │
│  ├── RAG 上下文注入                                   │
│  ├── System Prompt 防护规则                           │
│  ├── Temperature/Top-p 调优                          │
│  └── Structured Output 约束                          │
│                                                     │
│  Layer 3: 检测层                                      │
│  ├── 自一致性检测（SelfCheck）                        │
│  ├── 内部表征监控（CLAP/BAFH）                        │
│  ├── 外部知识交叉验证                                 │
│  └── LLM-as-Judge 评估                              │
│                                                     │
│  Layer 4: 后处理层                                    │
│  ├── 不确定性标记与置信度展示                          │
│  ├── 引用追溯与来源标注                               │
│  ├── 低置信度内容降级/拦截                             │
│  └── 人工审核路由                                    │
│                                                     │
│  Layer 5: 监控层                                      │
│  ├── 幻觉率实时仪表盘                                 │
│  ├── 领域/主题维度的幻觉趋势分析                       │
│  ├── 自动告警与模型版本回归检测                        │
│  └── 用户反馈闭环（误报/漏报统计）                     │
└─────────────────────────────────────────────────────┘

class HallucinationGuardedRAG:
    def __init__(self, llm, retriever, detector):
        self.llm = llm
        self.retriever = retriever
        self.detector = detector  # SelfCheckGPT or CLAP
    
    def answer(self, query, confidence_threshold=0.7):
        # Layer 1: RAG 检索
        contexts = self.retriever.retrieve(query, top_k=5)
        
        # Layer 2: 生成回答
        prompt = self._build_prompt(query, contexts)
        response = self.llm.generate(prompt, temperature=0.3)
        
        # Layer 3: 幻觉检测
        detection_result = self.detector.check(response, n_samples=5)
        
        # Layer 4: 后处理
        if detection_result.max_score > confidence_threshold:
            return {
                "answer": response,
                "confidence": "high",
                "flagged": False
            }
        else:
            # 降级策略：提供带免责的回答或请求人工介入
            return {
                "answer": f"⚠️ 以下内容未经充分验证：{response}",
                "confidence": "low",
                "flagged": True,
                "scores": detection_result.scores
            }