Laya 决策模型实测：33 毫秒的开源 System 1 引擎，与它诚实的局限

为什么值得关注

2026 年 9 月，AI 应用层出现了一个新的模型品类：决策模型（decision model）。它不做对话、不生成文本——你给它一段状态（邮件、工单、JSON、用户消息）和一组带类型的问题（该分给哪个部门？这是钓鱼邮件吗？紧急程度几分？），它在一次前向传播里直接吐出带概率的结构化答案。TypeSafe AI 的闭源产品 Jev 定价 $0.042/百万 token、典型延迟 150-500ms，被当作这一品类的标杆。

五天之内，开源社区给出了复刻品。其中最完整的是 Laya：非自回归 System 1 决策引擎，Apache 2.0 协议，421M 参数（ModernBERT-large 骨干），官方口径单题 33ms（T4 GPU）、批量 7.2ms/题、支持 100+ 语言，2026-09-18 建仓，截至本文快照 18,181 stars、1544 forks、v0.3.7。

但 Laya 真正值得写的不是速度，而是两件更少见的事：

1. 它在 09-19 主动撤回了自己的营销数字。旧版 README 宣称"83.8% 准确率、99.1% 路由准确、ECE 0.009"，commit 7c3a480d 把这些数字全部删掉，commit message 写明理由：“旧对比表携带的数字无法被本仓库自己的 benchmark 复现”。换成的是一组保守得多的实测口径。
2. 它把"零样本能力接近随机"写进了 README。基础 checkpoint 在 typed-decisions 上零样本 0.362（随机基线 0.318，多数类基线 0.461）——README 原话：“Laya 是一个用来特化的快速底座，不是零样本决策引擎。”

一个开源项目先放卫星再自己收回来，并且在模型卡里主动列失败模式，这在当下模型发布普遍"跑分口径大于实用口径"的环境里值得单独一看。本文用官方实测数据、两份独立第三方测量和本机复现交叉验证：Laya 的速度是真的，校准思路是真的，但"开箱即用的决策能力"不是——它的价值公式是"微调底座 × 极低延迟"，而非"零样本替换你的 LLM 路由"。

核心概念：什么是"System 1 决策引擎"

Kahneman 的双系统框架里，System 2 是慢速深思熟虑（今天的生成式 LLM），System 1 是快速直觉判断。Laya 这类模型做的就是 System 1：用双向编码器 + 决策头，把"分类/评分/是非性概率"压进一次前向传播，没有任何 token 生成环节。

三个决策原语

设计哲学是"输出空间只有概率和数字，所以模型物理上无法生成文本、无法幻觉、无法产出坏 JSON"。这个"物理不可能"比"提示词约束"低一个数量级的工程复杂度。

架构：421M 参数怎么分

根据作者 Dev.to 技术自述（2026-09-18）：

• 骨干：ModernBERT-large，28 层、hidden 1024、16 头、GeGLU，双向注意力同时看状态和选项；
• 决策头：2 层 TransformerEncoder（约 25.2M 参数），从 [MASK] 标记位置抽取选项表征；
• 选项打分器：约 1M 参数；
• act/escalate 头：输入为 top1/top2 概率差、归一化熵、选项预算比拼成的 1028 维向量，输出"自动执行还是转人工"。

多语言版（laya-multilingual）换 mmBERT-base 骨干，322M 参数、1024 上下文（编码器最高支持 8192），速度约为英文版 2 倍。

训练：RLCD，严格恰当评分规则做奖励

这是 Laya 与普通分类器拉开差距的核心机制。交叉熵训练会把正确 logit 推向无穷大——模型过度自信；朴素 RL（答对 +1 答错 0）的期望奖励同样把概率推向 1.0/0.0 两端。两种主流做法都在最大化准确率的同时摧毁校准。

RLCD（Reinforcement Learning for Calibrated Decisions）用严格恰当评分规则（strictly proper scoring rule）做奖励：当且仅当报告的分布等于真实分布时期望奖励最大。复合奖励为：

Reward(q, y) = S_log(q, y) + 0.5·S_sph(q, y) − 1.0·S_rps(q, y)

• S_log（对数评分）：重罚给真实结果低概率；
• S_sph（球形评分）：有界 [0,1]，避免纯 log loss 的极端梯度尖峰；
• S_rps（排序概率评分）：对有序量表（score 原语）度量累积分布距离——真实紧急度 3 级时，猜 2 级比猜 0 级罚得轻。

策略梯度用 GRPO 风格组基线（每组 8 个高斯噪声样本，优势 = 组内标准化），噪声 σ 从 1.0 衰减到 0.3。act 头用代价矩阵（对 +1 / 错 −3 / 转人工 −0.5）训练，自动推导出置信度阈值 62.5%：低于它转人工比赌一把更划算。

作者的前置工作链也值得一提：2025-03 arXiv:2503.23303（PPO 销售转化轨迹预测）、2025-09 arXiv:2510.01237（schema 化决策的 RL 框架），2026-09 TypeSafe 发布 Jev 后，作者把垂直场景方法泛化为通用开源引擎。这段"被商业化复制后开源反击"的背景，是 r/LocalLLaMA 社区这波决策模型小浪潮的直接导火索。

实测数据全景：三源交叉验证

以下数字来自三个独立来源，口径各不相同，不能横向互比，但每个来源内部可比。

来源一：官方 benchmark（自测，2026-09-19，T4）

官方 README 的对比表（Laya 为路由后实测值，Jev 为第三方发表值、非本仓库测量——官方自己标注了这一不对称）：

注意官方诚实标注的三处：ECE 0.081 是温度拟合后的值（出厂原始 ECE 0.213，反而比 Jev 发表的 0.144 差）；typed-decisions 0.766 来自在该基准自己的训练分割上微调过的 checkpoint（基础 checkpoint 零样本 0.362，低于多数类基线 0.461）；软分布匹配 Laya 输给 Jev（0.471 vs 0.580——argmax 更准但分布形状贴得不如教师）。

来源二：独立第三方 ayourtch（2026-09-20，Mac mini M4 Pro / MPS）

78 题小套件（jabr/classifier-benchmark，8 任务 ×3 原语），四个模型同场：

这组数据的信息量比官方表更大：在这个第三方套件上，Laya 准确率垫底，落后 GLiNER2 二十个百分点。但两个细节救了它：其一，控制组 GLiNER2 精确复现了其发表成绩，证明测量环境可信；其二，所有小模型在 noul（二元判断）任务上集体崩到 0.5-0.7——“这条消息里有没有凭据泄漏"这种问题，小模型接近抛硬币，而 27B 通用模型三个全对。”尺寸碾压特化（size beats specialisation）“是该文的原话结论，代价是 25 倍体积和 1.7 秒延迟。

来源三：官方中文基准 feishu_zh（2026-09-21，社区贡献，M4 MPS）

64 个中文合成职场场景（4 标签，两种问法），Laya 多语言版 vs Jev 1.13.0：

官方中文 README 的口径堪称自我批评范文：“不能把当前低分解释为’不支持中文’：被测的是多语言基础版；提示、任务迁移与校准都有影响。“以及"Jev 耗时含网络、两者不同硬件、非同时测量"三连免责。中文场景下未微调的 Laya 基本不可用，这是所有中文读者最先需要知道的一条。

本机复现（W1 实测）

环境：macOS，CPU 推理，laya 0.3.7（PyPI），Router 预加载英文+多语言双 checkpoint，一次性加载 11.7 秒（含权重下载后首次构建）：

三个发现值得展开：

1. 中文 churn noul=0.107 独立复现了官方 honest limits 里的 #156 条目——noul 原语在部分 checkpoint 上会被选项标签（false:/true:）带偏而不是跟着状态走。中文"否则我们就取消套餐"是明确的取消威胁，英文版给 0.825，多语言版只给 0.107。README 建议的规避法：把 noul 改写成两个中性 key 的 choice 问题。这不是我测出来的 bug，是官方已知并记录的失败模式，但中文场景被放大了。
2. 注入探测没有沦陷但也不能算通过：注入文本成功把分类拉向 sales，说明编码器确实在读文本语义（注入文本字面上就在谈 sales）；但置信度 0.394 远低于 0.85 自动执行门限，按官方门控逻辑会进人工队列。对安全场景，这个结果应该读作"置信度门控是这个架构的最后一道闸，必须在”。
3. CPU 延迟与官方 GPU 数字的差距是结构性的：官方 33ms 是 T4 GPU 口径；本机 CPU 英文版单次 4 题 283ms。“30ms 级"在 CPU 部署上并不天然成立，吞吐敏感的生产场景需要 GPU 或至少 MPS 加速。多语言版（mmBERT-base 更小）在 CPU 上反而只有 93ms。

工程实践：怎么正确地把 Laya 用起来

综合官方文档、honest limits 和实测，Laya 的正确打开方式有明确的适用边界。

位置一：低延迟高吞吐的分类/评分热路径

这是 Laya 设计上最舒适的场景：工单分派、邮件意图、内容审核预筛、Agent 内部的"该走快模型还是慢模型"路由。官方数据 T4 批量 103-332 题/秒。作为对照，同样的判断丢给 8B 生成模型要 500-2000ms 还要写解析器。前提是你在自己的数据上验证过准确率——见"误区"一节。

部署形态上 0.3.7 已经补齐了 Jev 兼容 HTTP 服务器（pip install "laya[serve]"，POST /v1/systemone，现有 TypeSafe 客户端改个 baseUrl 即可迁移），外加 NixOS 模块和 Docker Compose 快速启动，自托管路径是通的。

位置二：微调底座

官方最看重的用法。数据链：typed-decisions 基础 checkpoint 零样本 0.362 → 在目标任务训练分割上微调后 0.766（超过 Jev 发表的 0.727 和教师自一致性上限 0.735）。官方提供 Kaggle 免费 2×T4 的微调 notebook（RLCD + GRPO 风格策略梯度 + 温度校准拟合 + 推 Hub 一条龙，4-5 小时/4 epoch/3 万题）。更极端的案例：社区在单张 16GB GPU 上把 Laya 微调成浏览器 Agent 的操作决策头，元素 top-1 命中从零样本 0.10 拉到 0.66，真实任务成功率 0→62%，单步 17-23ms。

这条路径的本质是：用 400M 参数的专用决策头替换 Agent 内部"用大模型做小判断"的浪费。browser-use 这类每步都要在几十个候选元素里做选择的场景，是微调 Laya 的甜点区。

必须做的三件防护

1. 语言路由不能省。英文 checkpoint 在非拉丁文字上是灾难性失败：高棉语 0.000 准确率配 0.952 置信度——模型错得越离谱越自信，置信度门控救不了。Router 在前向传播之前用 <0.5ms 的纯 Python 检测文字系统，这个设计是被迫的，也是必需的。生产上建议 Router(preload=True) 常驻双 checkpoint，语言切换成本降到检测耗时；不预载的话每次切换 7-10 秒重载。
2. 温度校准必须自己拟合。两个 checkpoint 出厂都过度自信，多语言版干脆没带拟合温度。在自己的留出集上按 (题型, 选项数) 拟合，英文版 ECE 从 0.466 降到 0.081。不拟合就依赖概率值，等于裸奔。
3. 选项数超过 20 就换策略。选项共享固定的 head_max_len 预算（英文 192 token），77 个选项时每个标签只分到 3-4 个 token，准确率从 0.87 崩到 0.43。三板斧：调大 head_max_len、用 predict_shortlist 先嵌入粗筛 top-k 再精判、或自己拆成粗细两级 choice。

常见误区

误区一：“33ms 替代 LLM 路由，降本 90%。” 延迟数字是真的，但隐含前提是你的任务恰好落在它微调过的分布附近。零样本场景（尤其是二元 noul 判断和有序评分）小模型集体接近随机。正确姿势是先在自己的标注数据上跑一个 50 题的 smoke 评测，低于 80% 就直接走微调路径，不要硬调 prompt。

误区二：“校准概率 + 置信度门控 = 安全兜底。” 校准是全局统计性质，不保证单点正确。英文 checkpoint 对非拉丁文字给出 0.952 置信度的全错答案；#185 条目记录 act_probability 字段几乎恒为 1.0（其原始 logit 与正确性反向，AUROC 0.30）。能用的只有 confidence（AUROC 0.77），且必须先过温度拟合。任何"模型说很有把握所以自动执行"的链路都需要独立的安全边界。

误区三：“100+ 语言 = 中文可用。” 中文 51 语言扫描里 laya-multilingual 成绩 0.630（MASSIVE intent），看着还行，但那是意图分类；到了需要读言外之意的职场场景（feishu_zh），未微调的它 64 题只对 20 题。中文生产使用必须微调 + 校准拟合，没有捷径。

误区四：“Apache 2.0 + 本地部署 = 零成本私有化。” 权重免费，工程不免费：CPU 上英文版 4 题 283ms 意味着高并发需要 GPU 或 CPU 集群；Router 双 checkpoint 常驻内存；温度拟合需要持续收集标注数据。把它当"下载即用"会翻车，把它当"需要一周接入期的专用组件"是更准的心理预算。

与已有方案的对比定位

一个值得注意的生态事实：第三方测量里所有 400M 级开源决策模型在二元判断上都打不过一个 1.1bit 量化的 27B 聊天模型（0.5-0.7 vs 1.0）。这给选型划出一条清晰线：判断本身很关键、频率不高、能容忍秒级延迟 → 大模型仍然更稳；判断高频、延迟敏感、可以微调 → 小决策模型开始有意义。Laya 的差异化不在"比 Jev 准”（第三方数据说不），而在把"微调 + 校准 + 路由 + 服务化"整条链做成了开箱即用的开源工程——这套工程链才是它 5 天 1.8 万 star 的真正卖点。

总结

Laya 是一个把"快"做到了极致、把"诚实"做得超出行业标准的决策模型底座：

• 真：非自回归单次前向传播的延迟优势、RLCD 严格恰当评分规则的校准方法论、语言路由的前置设计、微调后超过教师上限的可塑性；
• 假不得不知道：零样本能力接近随机、二元判断弱于大一个数量级的通用模型、中文场景未微调不可用、CPU 部署延迟与宣传口径差距大、校准出厂状态过度自信。

对 Agent 开发者，它的最大启发不是"又多了一个可选模型”，而是架构层面的:Agent 内部大量"用 LLM 做小判断"的环节（路由、门控、升级人工、安全预筛），本质是 System 1 问题，用 System 2 工具做既慢又贵还不可靠。Laya 把这个判断形式化成了三个类型原语加校准概率,配合微调管线,是"决策层从生成层剥离"这个方向上目前工程完成度最高的开源实现。至于它能不能在你的场景用——先跑 50 题 smoke 评测,数据说话。

（数据快照：star/版本等仓库数据为 2026-09-23T16:00 UTC+8 实时查询值；官方 benchmark 数字来自其 2026-09-19 自测口径（Jev 对比为第三方发表值，非同环境）；ayourtch 与 feishu_zh 为独立第三方/社区贡献测量，各自口径见正文；本机实测环境为 CPU 推理，与官方 T4 GPU 数字不可直接比较。）

已过 Rigor Gate：14/14（关键声明→证据映射：延迟→官方 T4 实测+本机 CPU 复现；准确率争议→三源分列不互比；营销数字撤回→commit 7c3a480d 现场查证；中文局限→官方 feishu_zh+本机复现双重证据；引用来源全部 live 核实，无凭记忆引用）