苹果官方实测：两台 Mac Studio 雷电线直连，跑 816B 参数大模型

2026 年 10 月 15 日，苹果机器学习研究团队发布了一篇实测报告，回答一个 Mac 用户关心了很久的问题：想在本地跑前沿开源大模型，Mac 到底行不行？答案是——单台 Mac Studio 已经能跑 128B 密集模型，两台 Mac Studio 用雷电线直连，能跑超过 800B 参数的 MoE 模型。这篇报告的数字全部来自官方用 mlx_lm.benchmark 实测，不是纸面推算。

先看单机。苹果对比了两代 Mac Studio：最新 M5 Ultra 和上一代 M3 Ultra，统一 512GB 内存。测了三个模型：Muse Spark Open（816B，MoE，NVFP4 精度）、Mistral Medium 3.5（128B）和 Qwen 3.8（27B），上下文长度覆盖 8,192 和 65,536 两档——后者对应真实的 agentic coding 场景，这类应用动辄需要大上下文。

单机结果有两个关键数字。Qwen 3.8 27B 和 Mistral Medium 3.5 128B 在 512GB 单机上放得下：65,536 上下文时分别占用至多 68GB 和 158GB 内存。性能差距来自两处硬件：M5 Ultra 的 GPU 神经加速器（专用于矩阵乘法）让首 token 延迟（TTFT）最高提速 4.6 倍——TTFT 是计算瓶颈，正中加速器强项；生成速度受内存带宽限制，M5 Ultra 的 1.2TB/s 统一内存带宽（M3 Ultra 为 819GB/s）换来 1.6 倍 tokens/s。功耗峰值约 300W（M5 Ultra）/200W（M3 Ultra）——报告的类比是"比常见烤面包机还低"，意味着任何办公室插座都带得动。

816B 模型为什么必须两台机器

Muse Spark Open 在原生 BF16 精度下光模型参数就要 1.6TB 以上内存，4bit 量化（NVFP4）后降到约 493GB——加上推理中间计算的内存开销，单机 512GB 装不下。这就是分布式推理的用武之地。

技术前提有两个：macOS 26.2 引入了 Thunderbolt 5 上的低延迟 RDMA 驱动；MLX（v0.30.1 起）基于该驱动提供新的通信原语 jaccl（读作"jackal"）。两台 Mac Studio 用雷电线组成 mesh 直连，每对机器点对点两根线。

MLX 支持两种并行策略，各有适用场景。流水线并行按深度切模型：机器 A 管前几层，机器 B 管后几层。MLX 把长上下文切成 8,192 token 的段（--prefill-step-size 8192），流水线化 prefill——B 机器算第 k 段的后几层时，A 机器已经在算第 k+1 段的前几层。实测效果：65,536 上下文的 TTFT 明显加速，8,192 上下文则无提升——段切分只在长上下文下有重叠空间。张量并行按宽度切：每台机器持有每一层的一部分，逐层计算并行。这要求机器间极低延迟通信，Thunderbolt RDMA 正是为此存在。

对开发者的实际意义

本地跑 agentic coding 工具链只需一条命令：mlx_lm.server 起服务，比如把 Muse Spark Open 跑在 8080 端点。对在意数据隐私的团队——代码不出机器、模型权重自己管——这份报告测试的配置给出了一条可行的本地大模型路径。

成本上要算清账：两台顶配 Mac Studio 的价格不便宜，采购前按自己的负载算一遍账。边界也明确：这套方案面向推理和实验，报告未涉及训练场景；MoE 模型的 NVFP4 量化精度损失需要按具体任务评估。

（数据与结论依据苹果机器学习研究团队 2026-10-15 发布的官方报告，于 2026-10-16 核验。）