如何训练一个原生 Computer Use 模型

Computer Use 模型的技术全景

2025 年，AI 领域出现了一个重要的范式转移：让大模型直接操控计算机界面。从 OpenAI 的 CUA（Computer-Using Agent）到 Anthropic 的 Claude Computer Use，从字节跳动的 UI-TARS 到微软的 OmniParser，各大厂商和研究机构纷纷押注这个方向。这不是简单的"截图 + OCR + 操作脚本"的工程拼凑，而是一个涉及视觉感知、语言理解、动作规划与强化学习的端到端训练问题。

要理解"原生 Computer Use 模型"的含义，首先需要区分两种技术架构：

端到端 vs 模块化：两条路线之争

模块化方案以微软的 OmniParser 为代表：先用专门的图标检测模型和 Caption 模型将屏幕解析为结构化的 UI 元素列表，然后将这些元素以文本形式传给 GPT-4o 等通用 LLM 进行推理。这种方式的优势在于可以复用最强大的通用 LLM 的推理能力，OmniParser 在 ScreenSpot-Pro 上达到 39.5% 的准确率，证明了屏幕解析工具的价值。但其瓶颈也很明显——组件间信息传递存在不可避免的损失，整体延迟受限于多组件串行调用，且无法针对 GUI 操作场景进行端到端优化。

端到端原生方案是本文关注的重点。这类模型将视觉理解、语言推理和动作预测统一在一个模型中：输入一张屏幕截图和一条自然语言指令，直接输出要执行的操作（点击坐标、输入文本、滚动方向等）。代表系统包括字节跳动的 UI-TARS（基于 Qwen2.5-VL，开源）、OpenAI 的 CUA（基于 GPT-4o + 强化学习）、以及 Gelato-30B-A3B（mlfoundations 开源，ScreenSpot-Pro 达到 63.88%）。端到端方案的核心优势是信息不经过中间编码-解码的损耗，模型可以学习到截图和操作之间的隐式映射关系。

核心技术栈拆解

一个 Computer Use 模型需要同时具备三项基本能力，三者缺一不可：

1. GUI Grounding（视觉定位）

视觉定位是将自然语言描述映射到屏幕精确坐标的能力。例如，给定指令"点击搜索框"，模型需要在截图中精确定位搜索框的位置并输出对应的 (x, y) 坐标。

这看起来简单，但实际挑战巨大：屏幕上的 UI 元素密集且尺度差异极大（从一个 16×16 的图标到占满半屏的输入框），文本渲染方式各异（中英混排、图标文字、艺术字体），且不同操作系统、不同应用的 UI 风格千差万别。ScreenSpot-Pro 基准专门测试这种细粒度定位能力，截至 2026 年初，最强的开源模型 Gelato-30B-A3B 在该基准上达到 63.88%，而 UI-TARS-72B 为 45.6%，说明这仍然是一个开放问题。

2. Action Prediction（动作预测）

动作预测是在给定当前屏幕状态和任务目标的情况下，决定下一步该执行什么操作。常见操作空间包括：

• 点击（Click）：包括左键单击、双击、右键点击
• 输入（Type/Keystroke）：文本输入和快捷键操作
• 滚动（Scroll）：上下左右滚动
• 拖拽（Drag）：鼠标拖拽操作
• 等待（Wait）：页面加载中需要等待
• 完成（Finish）：任务已完成，停止操作

动作空间的设计直接影响训练复杂度。过于细碎的动作空间会增加学习难度，过于粗糙则无法表达精细操作。UI-TARS 采用了相对简洁的动作空间设计，将操作分为 click(x, y, action_type)、type(text)、scroll(direction, amount)、key(modifier, key) 等原子操作。

3. Task Planning（任务规划）

任务规划是多步交互中的核心能力。很多 GUI 任务需要 5-30 步操作才能完成，模型需要在每一步都根据当前屏幕状态做出正确的决策，并保持对整体任务目标的追踪。

一个典型的例子是"在电商网站搜索并购买一件商品"：打开浏览器 → 导航到网站 → 点击搜索框 → 输入商品名 → 点击搜索 → 浏览结果 → 选择商品 → 选择规格 → 加入购物车 → 进入结算 → 填写地址 → 确认支付。这个过程中的每一步都依赖于前一步的结果，模型需要具备长程推理和错误恢复能力。

数据工程：训练数据从哪来

数据是训练 Computer Use 模型的第一道门槛，也是决定模型上限的关键因素。训练数据主要来自四个渠道：

公开数据集

Gelato 项目在构建 Click-100k 数据集时展示了一种高效的数据工程方法：从 8 个以上的公开数据源中进行多维度筛选和清洗，最终筛选出 10 万条高质量点击定位数据。这表明在 Computer Use 领域，数据质量远比数据数量重要。

合成数据

合成数据是当前最主流的训练数据生成方式，主要包括：

• DOM 树提取：从 Web 页面中提取 DOM 树结构，生成元素位置标注和交互指令。这是 WebArena 等 Web 环境数据的主要来源。
• 逆向工程桌面应用：通过 Accessibility Tree（无障碍树）获取桌面应用的 UI 结构，结合截图生成训练对。
• 模板化生成：基于预定义的 UI 布局模板，自动生成多样化的屏幕截图和对应的操作指令。

人工标注

人工标注成本高昂但质量最高。主要标注类型包括：

• 操作轨迹标注：标注人员按照指令在真实环境中操作，记录每一步的截图、操作和坐标
• 元素定位标注：对屏幕截图中的 UI 元素进行精细的边界框标注
• 任务完成度评估：对模型生成的操作序列进行正确性判定

UI-Venus（蚂蚁集团）在实践中采用了一种 RFT（Rejection Sampling Fine-Tuning） 方法：先用模型生成大量操作轨迹，再通过规则过滤和人工审核筛选出高质量轨迹。数据清洗环节至关重要——他们在数据处理流程中引入了多层过滤机制，包括格式检查、坐标有效性验证、任务完成度评估等，显著提升了 SFT 数据的质量。

数据质量管控流水线

无论数据来源如何，都需要一套系统的数据质量管控流程：

import json
from pathlib import Path
from dataclasses import dataclass, field

@dataclass
class DataQualityFilter:
    min_resolution: tuple = (1024, 768)
    max_elements: int = 200
    coordinate_range: tuple = (0, 1)
    required_fields: list = field(default_factory=lambda: [
        "screenshot", "instruction", "action", "coordinates"
    ])
    
    def validate_sample(self, sample: dict) -> tuple[bool, str]:
        for field_name in self.requiredfields:
            if field_name not in sample:
                return False, f"缺失字段: {field_name}"
        w, h = sample["screenshot"].size
        if (w, h) < self.min_resolution:
            return False, f"分辨率过低: {w}x{h}"
        if len(sample["action"].get("elements", [])) > self.max_elements:
            return False, "无障碍树元素过多，疑似渲染异常页面"
        x, y = sample["coordinates"]
        if not (0 <= x <= 1 and 0 <= y <= 1):
            return False, f"坐标越界: ({x}, {y})"
        if sample["action"]["type"] not in {"click", "type", "scroll", "key", "done"}:
            return False, "非法动作类型"
        return True, "合格"

训练方案：从模仿到强化

三阶段路线

OS-Genesis 与 UI-TARS 系列工作共同验证了这条路线的前提：奖励必须能在环境里自动验证，否则强化阶段无从谈起——“任务+验证器"的自动化闭环就是数据管线的核心资产。

失败轨迹的价值

被人类纠正过的"错误动作 → 纠正动作"配对是天然的偏好数据；用 DPO 或拒绝采样消化它们，能显著压低模型输出幻觉坐标、点错输入框的比例。只模仿成功样本的训练，学不会从错误中回来。

评估体系

端到端成功率是唯一能进产品承诺的数字，但归因与改进永远发生在原子层——两级都要看，只看其一必盲人摸象。

总结

原生 Computer Use 模型的竞争，本质是数据管线竞争：公开轨迹稀缺、噪声大、跨平台割裂，谁能自动化地合成"任务+验证器"闭环，谁就能训出在真实环境里干活的模型。架构上端到端多模态 + 环境内强化已收敛为主线；安全上则必须与沙箱动作空间同步设计——能力越强，“允许点哪里"越要成为受权限模型约束的问题，而不是模型自觉。 （数据来源：OS-Genesis、UI-TARS、OSWorld/WebArena/ScreenSpot 等论文与开源项目文档，整理截至 2026-10。） 本文面向授权安全研究与防御建设，未经授权对任何系统实施文中技术属违法行为。