https://x7peeps.com/tags/%E9%95%BF%E4%B8%8A%E4%B8%8B%E6%96%87/index.htmlHugozh-CNWed, 15 Jul 2026 11:44:35 +0000https://x7peeps.com/AI/01-LLM%E5%8E%9F%E7%90%86%E4%B8%8E%E5%B7%A5%E7%A8%8B/%E9%95%BF%E4%B8%8A%E4%B8%8B%E6%96%87%E6%8A%80%E6%9C%AF%E6%A0%88%E4%BB%8E512%E5%88%B010M-Token%E7%9A%84%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81%E6%BC%94%E8%BF%9B%E4%B8%8E%E5%B7%A5%E7%A8%8B%E5%AE%9E%E8%B7%B5/index.htmlWed, 15 Jul 2026 11:44:35 +0000https://x7peeps.com/AI/01-LLM%E5%8E%9F%E7%90%86%E4%B8%8E%E5%B7%A5%E7%A8%8B/%E9%95%BF%E4%B8%8A%E4%B8%8B%E6%96%87%E6%8A%80%E6%9C%AF%E6%A0%88%E4%BB%8E512%E5%88%B010M-Token%E7%9A%84%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81%E6%BC%94%E8%BF%9B%E4%B8%8E%E5%B7%A5%E7%A8%8B%E5%AE%9E%E8%B7%B5/index.html长上下文技术栈：从 512 到 10M Token 的位置编码演进与工程实践 大语言模型的上下文窗口（Context Window）是其理解与生成能力的物理边界——它决定了模型在单次推理中能"看到"多少信息。2017 年原始 Transformer 的上下文长度仅为 512 个 Token，而到了 2025 年，Google Gemini 2.5 Pro 已支持 100 万 Token，Meta Llama 4 Scout 更是达到了惊人的 1000 万 Token。这一跨越四个数量级的扩展，不仅是"数字变大"那么简单，而是位置编码、注意力机制和系统工程三个维度协同演进的结果。