https://x7peeps.com/tags/%E5%B7%A5%E7%A8%8B%E5%8C%96/index.htmlHugozh-CNFri, 03 Jul 2026 07:21:56 +0000https://x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/LLM%E5%BA%94%E7%94%A8%E6%80%A7%E8%83%BD%E5%B7%A5%E7%A8%8BToken%E4%BC%98%E5%8C%96%E8%AF%AD%E4%B9%89%E7%BC%93%E5%AD%98%E4%B8%8E%E5%BB%B6%E8%BF%9F%E8%B0%83%E4%BC%98/index.htmlFri, 03 Jul 2026 07:21:56 +0000https://x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/LLM%E5%BA%94%E7%94%A8%E6%80%A7%E8%83%BD%E5%B7%A5%E7%A8%8BToken%E4%BC%98%E5%8C%96%E8%AF%AD%E4%B9%89%E7%BC%93%E5%AD%98%E4%B8%8E%E5%BB%B6%E8%BF%9F%E8%B0%83%E4%BC%98/index.htmlLLM 应用性能工程：Token 优化、语义缓存与延迟调优 当 LLM 应用从原型走向生产环境，性能问题会以最直接的方式暴露出来——Token 成本随用户量线性增长、首 Token 响应时间让用户失去耐心、高并发场景下 API 限流导致大量请求失败。这些不是边缘问题，而是决定 LLM 应用能否商业化的核心瓶颈。https://x7peeps.com/AI/01-LLM%E5%8E%9F%E7%90%86%E4%B8%8E%E5%B7%A5%E7%A8%8B/LLM-API%E5%B7%A5%E7%A8%8B%E5%A4%9A%E6%A8%A1%E5%9E%8B%E5%AF%B9%E6%8E%A5%E6%B5%81%E5%BC%8F%E8%BE%93%E5%87%BA%E4%B8%8E%E5%AE%B9%E9%94%99%E8%AE%BE%E8%AE%A1/index.htmlFri, 03 Jul 2026 07:21:56 +0000https://x7peeps.com/AI/01-LLM%E5%8E%9F%E7%90%86%E4%B8%8E%E5%B7%A5%E7%A8%8B/LLM-API%E5%B7%A5%E7%A8%8B%E5%A4%9A%E6%A8%A1%E5%9E%8B%E5%AF%B9%E6%8E%A5%E6%B5%81%E5%BC%8F%E8%BE%93%E5%87%BA%E4%B8%8E%E5%AE%B9%E9%94%99%E8%AE%BE%E8%AE%A1/index.htmlLLM API 工程：多模型对接、流式输出与容错设计 在生产环境中对接 LLM API，远不只是调用一个 HTTP 接口那么简单。开发者需要面对的是：多家模型供应商 API 规范不统一、流式输出协议存在差异、调用失败率高于传统 REST 服务、Token 计费模型复杂、速率限制策略各异。本文从后端工程视角出发，系统梳理多模型对接、流式输出、容错设计三个核心问题，提供可直接落地的工程方案。