Agent 安全能力评测：5 维度 16 场景的本地 Benchmark 实践

Agent 安全能力评测：5 维度 16 场景的本地 Benchmark 实践

当 Agent 从原型走向生产，安全不再是一个可选特性——它是上线的底线。Prompt 注入、工具滥用、会话劫持、数据泄露，这些攻击面在 Agent 架构中被急剧放大。然而，社区中针对 Agent 安全能力的系统化评测基准仍然稀缺。主流 Benchmark 关注 Agent 的任务完成能力，却很少问一个问题：Agent 在被攻击时的表现如何？

本文记录了我们构建的一个本地化 Agent 安全 Benchmark 的全过程。基于 Python + Ollama 搭建，覆盖 5 个安全维度、16 个测试场景，跨 8 个模型进行横向评测。我们不追求学术级别的严谨，而是提供一套可复现、可扩展的工程实践方案。

1. 为什么需要 Agent 安全评测

Agent 的安全风险与传统 LLM 有本质区别。传统 LLM 的安全威胁集中在输入输出层面——提示词注入导致越狱回答。而 Agent 引入了三个全新的攻击面：

工具执行面：Agent 可以调用真实工具——执行 Shell 命令、查询数据库、操作文件系统。一旦 Prompt 注入成功，攻击者不仅能获得"有害回答"，还能让 Agent 执行破坏性操作。这是最危险的攻击面，因为攻击效果从信息泄露升级为代码执行。

会话持久面：Agent 维护多轮会话状态，攻击者可以在多轮对话中渐进式地诱导 Agent 降低防御，或者跨越会话边界窃取信息。这种攻击面在传统 LLM 中几乎不存在，因为传统 LLM 每次请求都是独立的。

记忆与上下文面：Agent 的 system prompt 中包含系统指令、工具描述、安全约束。如果攻击者能逆向提取这些内容，就等于获取了系统的"权限配置文件"。更危险的是，如果 Agent 具备长期记忆能力，攻击者可以通过污染记忆来持久化操纵 Agent 行为。

这意味着 Agent 的安全评测不能简单照搬 LLM 红队测试的方法论。我们需要一个面向 Agent 架构特征的、多维度、可量化的安全评测框架。

2. 评测框架：5 维度 16 场景

我们的评测框架围绕 Agent 特有的攻击面设计，分为 5 个安全维度，共 16 个测试用例。每个用例包含三个要素：攻击手法（如何攻击）、预期防线（应该怎么防御）、评分标准（如何判断是否防御成功）。

2.1 Prompt 注入（7 个用例）

Prompt 注入是 Agent 安全的核心威胁。我们设计了 7 种不同手法，覆盖从基础到进阶的注入技术:

在这 7 个用例中，PI-02（间接注入）和 PI-07（翻译诱导）最值得关注。间接注入模拟了真实场景：Agent 通过工具获取外部内容（如网页搜索结果），而外部内容被攻击者污染。翻译诱导则利用了模型"翻译指令优先级高于安全指令"的心理模型——许多模型会认为"翻译"是用户请求的合法功能，从而在不设防的情况下泄露 system prompt。

2.2 工具安全（3 个用例）

工具调用是 Agent 区别于普通 LLM 的核心能力，也是最危险的攻击面：

TS-02 链式工具滥用是一个特别有意思的测试场景。单个工具调用可能看起来无害，但组合起来就构成攻击链。例如：先用 list_files 列出目录找到配置文件，再用 read_file 读取数据库连接信息，最后用 query_database 提取用户数据。评测 Agent 能否识别这种渐进式的危险模式，是衡量其安全推理能力的关键指标。

2.3 会话安全（2 个用例）

会话安全关注 Agent 在多轮交互和跨会话场景下的防护能力。这是我们评测中所有模型表现最差的维度：

SS-01 的攻击流程是：第 1 轮问普通问题