ARTICLE / ai
LLM 应用性能工程:Token 优化、语义缓存与延迟调优
当 LLM 应用从原型走向生产环境,性能问题会以最直接的方式暴露出来——Token 成本随用户量线性增长、首 Token 响应时间让用户失去耐心、高并发场景下 API 限流导致大量请求失败。这些不是边缘问题,而是决定 LLM 应用能否商业化的核心瓶颈。
本文从工程实践出发,系统性地梳理 LLM 应用性能优化的完整技术栈:从 Prompt 层的精细压缩,到语义缓存的智能复用,从延迟优化的流式架构,到吞吐量提升的并发控制。每个优化方向都附带量化分析和可落地的代码实现。
1. Prompt 层优化
Prompt 层优化是性能工程中投入产出比最高的方向——一次优化、永久生效,且直接影响每一次 API 调用的成本和延迟。
1.1 指令压缩(Instruction Compression)
System Prompt 的冗余是 Token 浪费的首要来源。许多团队在迭代过程中不断往 System Prompt 中添加指令,却从未做过系统性精简。
压缩前(约 420 Token):
压缩后(约 150 Token):
指令压缩的核心原则是:保留语义骨架,去除修辞性填充。实测表明,经过压缩的 System Prompt 在多数任务上不会导致输出质量下降(BLEU 差异 < 0.02),但 Token 消耗降低 60%-65%。
| 指标 | 压缩前 | 压缩后 | 变化 |
|---|---|---|---|
| System Prompt Token | 420 | 150 | -64.3% |
| 单次请求成本(GPT-4o) | $0.00215 | $0.00148 | -31.2% |
| 月度成本(100K 请求) | $215 | $148 | 节省 $67/月 |
| 输出质量(客服评分) | 4.6/5 | 4.5/5 | 无显著差异 |
1.2 上下文裁剪(Context Trimming)
对话历史是 Token 消耗的另一个大户。在多轮对话场景中,历史消息的 Token 数会随对话轮次线性增长,甚至超过模型的上下文窗口限制。
有效的裁剪策略包括:
- 滑动窗口裁剪:保留最近 N 轮对话,丢弃更早的历史。实现简单,适合大多数对话场景。
- 重要性加权裁剪:根据消息类型分配保留优先级——System Prompt 必须保留、用户显式声明高优先、闲聊内容可优先丢弃。
- Token 预算裁剪:设定历史消息的总 Token 上限,从最新消息向前回溯直到预算耗尽。
1.3 模板复用(Template Reuse)
对于高频调用的 Prompt 模板,统一管理并复用可以避免重复维护带来的 Token 膨胀。更关键的是,模板化的 Prompt 更容易开启提供商的 Prompt Caching 机制。
以 OpenAI 的 Automatic Prompt Caching 为例:当多个请求共享相同的 System Prompt 前缀时,重复前缀的处理成本可降低 50%,且延迟也随之降低。这意味着将 System Prompt 中稳定不变的部分前置,就能零成本获得缓存收益。
信息
2. 缓存策略
缓存是 LLM 性能优化中杠杆效应最显著的技术。一次缓存命中意味着完全跳过模型推理,将响应时间从秒级降到毫秒级,同时将该次请求的成本降为零。
2.1 精确缓存(Exact Cache)
精确缓存基于请求参数的哈希值进行匹配,适用于输入输出确定性高的场景。
实现原理:对请求的完整 Prompt(System Prompt + User Input + 推理参数)计算 SHA-256 哈希,以哈希值为 Key 存储响应结果。
优点:实现简单、匹配精确、无误判风险。
缺点:语义相同但表述不同的请求无法命中缓存(如"什么是机器学习"与"请解释机器学习的概念")。
适用场景:代码生成(输入输出高度确定)、模板化数据提取、固定问题的 FAQ 回答。
2.2 语义缓存(Semantic Cache)
语义缓存通过向量相似度匹配实现"模糊命中"——当新请求与历史请求的语义相似度超过阈值时,直接返回缓存结果。
核心流程:
- 请求到达时,将用户输入编码为向量表示
- 在向量数据库中检索 Top-K 相似请求
- 若最高相似度超过阈值(如 0.92),返回对应缓存响应
- 若未命中,正常调用 LLM 并将请求-响应对存入缓存
| 特性 | 精确缓存 | 语义缓存 |
|---|---|---|
| 匹配方式 | 哈希精确匹配 | 向量相似度匹配 |
| 命中率 | 低(仅完全相同输入) | 高(语义相似即可命中) |
| 实现复杂度 | 低 | 中高 |
| 额外存储 | 无 | 向量数据库 |
| 延迟开销 | ~1ms | ~10-50ms(含向量检索) |
| 误判风险 | 无 | 有(相似但含义不同的请求) |
| 适用场景 | 输入高度确定的任务 | 意图收敛、表述发散的场景 |
2.3 语义缓存的工程细节
阈值是双向代价函数。相似度阈值定 0.98,命中率上不去、等于白做;定到 0.85,就会出现"用户问北京天气、返回上海的答案"。正确做法是按场景分层:事实型问答用高阈值(0.95+)且必须带关键实体校验(地点、时间、数字必须一致),解释型/开放型问答可以用低阈值(0.88-0.92)。
实体一致性检查是语义缓存最实用的一层保护:向量相似 + 结构化实体抽取双重匹配,能挡住绝大部分"像但不是"的误命中。
缓存键必须包含的维度:模型标识 + Prompt 模板版本 + 关键参数(temperature、工具集)+ 权限指纹。漏掉权限指纹的缓存是安全事故——用户 A 的私有数据答案被返回给用户 B。
失效与 TTL:知识随时间变化的场景(价格、库存、政策)必须设短 TTL 或显式失效钩子;纯静态解释类内容可以长 TTL。缓存命中率与"过期答案占比"要同时监控,后者是隐性质量杀手。
成本核算:语义缓存引入的额外开销是 embedding 调用 + 向量检索(约 10-50ms 与一次 embedding 的 Token 费用)。只有当被缓存请求的推理成本 > 检索成本时才划算——对长上下文、大模型请求极划算;对"一次极便宜的小模型调用"则可能负收益,务必算 ROI 再决定。
实践工具上,GPTCache 是较完整的开源实现(embedding + 相似度 + 存储 + 命中判定分层可配);多数团队会在网关层自建,用 Redis 存响应、pgvector/Qdrant 存向量,几百行代码即可覆盖核心逻辑。
3. 延迟优化
3.1 先拆开延迟的构成
一次 LLM 请求的用户感知延迟 = 排队 + 网络 + Prefill(prompt 处理)+ Decode(逐 Token 生成)+ 后处理。
- TTFT(首 Token 时间) 由排队 + 网络 + Prefill 主导,决定"响应快不快"的主观感受
- 总耗时 由 Decode 主导(每 Token 一次前向),与生成长度近似线性
推论很直接:想改善体感,先减 Prompt 长度和排队(治 TTFT);想改善总耗时,先减输出长度(治 Decode)。方向搞反的优化通常完全无效。
3.2 流式输出
流式(SSE / WebSocket)是把 Decode 的时间"藏起来"的唯一手段——用户 400ms 就看到第一句话,即使整段要 8 秒。工程要点:
- 上游(模型 API)流式 → 下游(客户端)流式,中间任何一层做全量缓冲都会毁掉收益。Nginx 要关
proxy_buffering,网关不能用非流式 HTTP client - 增量内容要能处理"半截 JSON"(结构化输出场景):前端做容错解析或按字段到达渲染
- 流式与护栏/校验冲突(内容已展示才知道违规),需要"分段确认 + 违规截断"协议
- TTFT 要有超时与降级:3 秒无首 Token 即切备用模型,比死等好
3.3 Prefill 与 KV Cache 复用
Prompt Cache / 前缀缓存是当下 ROI 最高的延迟与成本双重优化:把长 System Prompt、工具定义、少量固定示例放在最前面并保持逐字节稳定,让供应商命中前缀缓存。实测中它能把 TTFT 降 30%-70%,并把输入 Token 计费打三到五折。前提是缓存友好写法——一旦你在前缀里塞进时间戳、随机 request id,缓存永久失效。
开源推理侧对应的是 vLLM 的 Automatic Prefix Caching、SGLang 的 RadixAttention,多轮对话与 Agent 反复共享上下文的场景收益尤其明显(前缀重叠率可到 80% 以上)。
3.4 推理与部署层的杠杆
| 手段 | 效果量级 | 代价 |
|---|---|---|
| 量化(AWQ / FP8 / GPTQ) | 显存 -50%~70%,吞吐 +30%~100% | 精度轻微损失,需评测确认 |
| 连续批处理(Continuous Batching) | 吞吐数倍提升 | 需专用引擎(vLLM/TRT-LLM) |
| 投机解码(Speculative Decoding) | 单请求 Decode 提速 1.5-3× | 需 draft 模型,长尾收益不稳定 |
| 更大并行度(TP/PP) | 单请求延迟下降 | 硬件成本与调度复杂度 |
| 模型降级(大→小) | 数量级下降 | 质量损失,必须回归评测 |
一条容易被忽略的事实:多数业务系统的延迟瓶颈不在 GPU,而在排队。并发上限、连接池大小、请求扇出策略这三项配置错了,再快的模型也会给出 5 秒的 TTFT。压测时先量排队时间,再谈优化推理。
4. 吞吐与并发
限流分层:客户端配额(防单用户刷爆)→ 应用并发闸门(信号量)→ 供应商 RPM/TPM 适配。供应商限流是双约束(请求数 + Token 数),只做 QPS 限流会在长文本请求上被撞穿;按 Token 预算做准入才准确。
队列与背压:超过容量的请求应该快速失败并返回可重试提示,而不是无限排队——排队到 30 秒后成功,比立即失败更糟(用户早已离开,资源还白花)。
批处理通道:离线任务(数据抽取、批量打标、评测)走 Batch API,价格通常低 50%,延迟不敏感场景是纯赚。设计上把在线与离线流量物理隔离(不同模型档、不同队列),避免离线任务挤占在线配额。
重试的代价:超时重试会放大吞吐需求。必须带 jitter、预算上限与熔断,否则高峰期的排队会因集体重试进入正反馈。
5. 性能工程方法论
先建基线,再谈优化。可执行的流程:
- 定义指标口径:TTFT P50/P95、总耗时 P95、单请求成本(含 cache 折扣)、缓存命中率、限流失败率
- 构造真实流量画像:从生产日志抽样 Prompt,覆盖长短分布与场景分布,而不是拿玩具例子压测
- 建立影子环境:同一份流量镜像打到新旧配置,对比质量与成本(质量指标必须一起看,否则"提速"只是把回答变差)
- 逐项做 A/B:一次只改一个变量(Prompt 压缩、缓存阈值、模型换档、并发上限),记录收益与副作用
- 固化到网关与 CI:把性能指标做成发布门禁,防止优化被后续迭代悄悄吃掉
收益要按同一口径核算。常见事故是"缓存命中率 45%,成本下降 40%"——后来发现下降主要来自同期把模型从大档换到小档,缓存的真实贡献不到 10%。没有对照组,收益归因就是讲故事。
6. 结语
LLM 应用的性能工程有一个不同于传统软件的特点:成本与延迟高度耦合于"内容长度"。这决定了最有效的优化几乎都在数据侧而不是算力侧——压缩 System Prompt、稳定前缀以命中缓存、裁剪检索片段、控制输出长度、缓存可复用的问答。它们共同的性质是"少让模型生成、少让模型重读"。
一份可以直接抄的优先级排序:
- 流式输出 + TTFT 监控(体感收益最大、改造成本最低)
- Prompt 压缩与上下文裁剪(每次调用都省钱)
- 前缀缓存友好化(长 System Prompt 场景立竿见影)
- 精确缓存 → 语义缓存(带权限指纹与实体校验)
- 模型路由(简单任务走小模型)
- 推理层(量化、连续批处理、投机解码)与并发限流调优
前三项通常能拿到 40%-70% 的成本下降与明显改善的体感,且不需要动任何基础设施;后三项是基础设施投入,留到前面做完仍然撞墙时再上。性能优化的顺序搞对了,很多"必须换更贵的模型"的需求会自动消失。
(数据来源说明:本文为公开资料与技术方法整理,涉及的性能、比例与厂商能力描述以各官方文档与公开报告为准,具体数值会随版本变化;未在自有环境逐项复测的数据均以’约/通常/实践区间’表述。)
本文面向授权安全研究与防御建设,未经授权对任何系统实施文中技术属违法行为。