ARTICLE / ai

多模态大模型技术栈：从 Vision-Language Model 到原生多模态架构的技术演进

Updated: 2026-07-15
Reading time: 16 min

多模态 AI 已从实验室中的"图像描述工具"演变为能够同时理解文本、图像、音频、视频的通用智能系统。2024 年 GPT-4o 的发布标志着一个分水岭——模型不再只是"看图说话"，而是从底层架构层面原生支持多种模态的联合训练与推理。到 2026 年，多模态能力已从"差异化优势"变成了"入场门票"，没有视觉理解能力的大模型几乎无法进入生产级应用场景。

然而，从 CLIP 到 GPT-4o 的演进路径并非线性升级，而是经历了多次架构范式的跃迁。理解这些范式之间的区别，对于 AI 工程师选择模型、设计系统、评估方案至关重要。本文将从架构演进脉络出发，系统梳理 Vision-Language Model（VLM）的核心组件、训练范式、主流模型对比以及前沿趋势，为技术从业者提供一份完整的多模态技术栈全景图。

1. VLM 架构四大时代

VLM 的架构设计在短短六年内经历了四个截然不同的时代，每个时代都代表了对"如何让语言模型理解视觉信息"这一根本问题的不同回答。

1.1 Era 1：冻结双塔 + 对比学习（2021-2022）

这一时代的代表是 CLIP（Contrastive Language-Image Pre-training），由 OpenAI 于 2021 年发布。核心思想极其简洁：

用一个图像编码器和一个文本编码器，在海量图文对上进行对比学习，让语义相似的图文在嵌入空间中靠近。

┌──────────────────────────────────────────────────────┐
│                 CLIP 双塔架构                         │
│                                                      │
│   ┌──────────┐         ┌──────────┐                  │
│   │  Image   │  对比   │  Text    │                  │
│   │ Encoder  │  学习   │ Encoder  │                  │
│   │ (ViT)    │ ◄─────► │ (BERT)   │                  │
│   └────┬─────┘         └────┬─────┘                  │
│        │                    │                        │
│        ▼                    ▼                        │
│   ┌──────────────────────────────┐                   │
│   │   共享嵌入空间 (Embedding)     │                   │
│   │   图文相似度 = cosine(z_i, z_t)│                   │
│   └──────────────────────────────┘                   │
└──────────────────────────────────────────────────────┘

核心创新：首次大规模验证了对比学习可以学到强大的跨模态对齐表示。CLIP 的零样本分类能力震惊了学术界——无需任何标注数据就能在 ImageNet 上达到与有监督模型可比的性能。

关键局限：CLIP 本身没有生成能力，它只是一个"对齐器"。后续的 BLIP-2 和 Flamingo 试图通过在 CLIP 之上添加一个可学习的桥接模块（Q-Former）来弥补这一缺陷，但这种冻结双塔 + 外挂桥接的架构存在天然的信息瓶颈。

1.2 Era 2：LLM 为骨干 + 视觉适配器（2023-2024）

Era 2 是目前开源社区最主流的架构范式。核心转变是让一个预训练好的 LLM 成为系统中枢，视觉信息通过一个轻量级投影层注入 LLM 的嵌入空间。

LLaVA（Large Language-and-Vision Assistant）是这一范式的标志性工作：

┌──────────────────────────────────────────────────────┐
│              LLaVA 架构（Era 2 代表）                  │
│                                                      │
│   ┌──────────┐    ┌─────────┐    ┌──────────────┐   │
│   │  Vision  │    │  MLP    │    │              │   │
│   │ Encoder  │───►│Projection│───►│     LLM      │   │
│   │ (CLIP)   │    │  Layer  │    │  (Vicuna/    │   │
│   └──────────┘    └─────────┘    │   LLaMA)     │   │
│                                  │              │   │
│   ┌──────────┐                   │  文本 Token   │   │
│   │  Token   │──────────────────►│     +        │   │
│   │Tokenizer │                   │  视觉 Token   │   │
│   └──────────┘                   └──────┬───────┘   │
│                                         │           │
│                                         ▼           │
│                                    ┌──────────┐     │
│                                    │  自回归   │     │
│                                    │  文本生成  │     │
│                                    └──────────┘     │
└──────────────────────────────────────────────────────┘

两阶段训练协议：

预训练对齐阶段：冻结 Vision Encoder 和 LLM，仅训练 MLP 投影层，让视觉特征对齐到 LLM 的语义空间
Visual Instruction Tuning 阶段：解冻 LLM，使用高质量视觉指令数据进行端到端微调

这一范式的核心优势是简单且高效——MLP 投影保留了所有 patch token 的空间信息，且实现成本极低。后续的 LLaVA-1.5 证明，仅用一个两层 MLP 就足以在多个 benchmark 上超越更复杂的 Q-Former 方案。

1.3 Era 3a：原生多模态输入（2024-2025）

Era 3a 的代表是 GPT-4V 和早期版本的 Gemini。与 Era 2 的本质区别在于：

不再把视觉编码器当作一个"外挂"，而是从预训练阶段就开始在多模态数据上联合训练整个模型。

Era 3a 的模型在输入端已经实现了原生多模态——图像 patch token 和文本 token 在同一个 Transformer 中被早期融合（early fusion），跨模态的注意力在底层就已经发生。

关键进步：

动态分辨率处理：不再将所有图像强制缩放到固定尺寸，而是支持原生分辨率输入，这对文档理解和细粒度识别至关重要
多模态上下文窗口：视觉 token 与文本 token 共享同一个上下文窗口，支持图文交错的长序列输入
改进的空间推理：通过 2D-RoPE 等位置编码方案，模型能够理解图像的空间结构

1.4 Era 3b：原生多模态输入+输出（2024-至今）

GPT-4o（“o” for Omni）开启了 Era 3b——模型不仅能理解多模态输入，还能原生生成多模态输出（文本、图像、音频）。

┌─────────────────────────────────────────────────────────┐
│          架构对比：三阶段流水线 vs 端到端                    │
│                                                         │
│  旧架构（三阶段流水线）：                                   │
│  麦克风 → Whisper(ASR) → GPT-4 Turbo → TTS → 扬声器      │
│         ~400ms      ~1.8s      ~600ms                    │
│  总延迟: ~2.8 秒，每个阶段边界丢失信息（语气、停顿、情感）    │
│                                                         │
│  GPT-4o 架构（端到端）：                                   │
│  麦克风 ────────────► GPT-4o（单模型）────────────► 扬声器  │
│  总延迟: ~232 毫秒，保留完整的跨模态语义                    │
└─────────────────────────────────────────────────────────┘

GPT-4o 的关键架构推断：

统一 Token 流：文本 BPE token、图像 patch token、音频 codec token 被送入同一个 Transformer stack
模态特定的嵌入/解嵌入层：输入嵌入表按模态分离，输出头根据上下文产生对应模态的 token
联合训练：在交织的多模态数据（带音频的对话、带文字描述的图像、视频等）上端到端训练
音频 tokenizer：可能采用类似 Encodec 或 SoundStream 的神经音频编解码器，产生 50-75 Hz 的离散码本 token

GPT-4o 将语音模式的中位响应延迟从 2.8 秒降至 232 毫秒——这种数量级的提升不可能来自训练优化，而只能来自架构的根本改变。

2. 核心组件深度解析

现代 VLM 的技术栈由三个核心组件构成：Vision Encoder、连接器（Connector） 和 Language Model Backbone。

2.1 Vision Encoder：从 CLIP 到 SigLIP 2

Vision Encoder 负责将原始像素转换为视觉 token。尽管 LLM 的参数量从数十亿增长到数千亿，Vision Encoder 的参数量长期停留在 300M-600M 的量级，形成了显著的不对称。

一个关键发现是：训练方法比模型规模更重要。Jina AI 的调研分析了 70+ 个 VLM 中的 Vision Encoder，结论是 400M 参数的 SigLIP 2 在大多数 benchmark 上优于 5.9B 参数的 InternViT-6B。

编码器	参数量	训练范式	核心特点	代表模型
CLIP ViT	300-400M	对比学习（softmax）	开创性工作，零样本能力强	LLaVA, BLIP-2
SigLIP	300-400M	对比学习（sigmoid）	改进损失函数，更好的 scaling	PaliGemma
SigLIP 2	86M-1B	对比+自监督+captioning	多语言、密集特征、本地化	Qwen3-VL, Gemma 3
InternViT	6B	渐进式缩放	超大规模视觉编码器	InternVL 系列
EVE	无编码器	原生多模态训练	Encoder-free 架构	探索性工作

CLIP 的核心机制：使用 softmax-based 对比损失，在一个 batch 内计算所有图文对的相似度矩阵，最大化对角线元素（匹配对）的概率。这种方法的一个关键瓶颈是依赖 batch 内的负样本——batch 越大，对比学习效果越好，但计算成本也线性增长。

SigLIP 的改进：将 softmax 替换为 sigmoid 损失，每个图文对独立计算匹配概率，不再依赖 batch 内的全局归一化。这带来了两个实际好处：

更好的 scaling 行为：不需要极大的 batch size 就能获得稳定的训练信号
更好的零样本性能：sigmoid 损失鼓励模型学习更细粒度的视觉-语义对应关系

SigLIP 2 的统一训练配方（2025 年 2 月发布）将多种独立开发的技术整合到一个统一框架中：

Captioning 预训练：不仅做对比学习，还训练图像描述生成
自监督损失：引入自蒸馏（self-distillation）和掩码预测（masked prediction）
在线数据策展：动态筛选训练数据质量
NaFlex 变体：支持多分辨率输入并保留原始长宽比，对文档理解至关重要

2.2 连接器：MLP vs Q-Former

连接器（Connector）负责将 Vision Encoder 输出的视觉特征映射到 LLM 的嵌入空间。这是 VLM 架构中最关键的设计选择之一。

┌─────────────────────────────────────────────────────────┐
│              两种连接器范式对比                             │
│                                                         │
│  MLP 投影（LLaVA, Qwen-VL, InternVL）：                  │
│  ┌──────────┐    ┌──────────┐    ┌──────────┐          │
│  │ Visual   │    │ 2-Layer  │    │          │          │
│  │ Features │───►│   MLP    │───►│   LLM    │          │
│  │ (N patch │    │(保留全部  │    │          │          │
│  │  tokens) │    │ patch)   │    └──────────┘          │
│  └──────────┘    └──────────┘                           │
│  优势：保真度高，适合精确视觉任务                            │
│  劣势：token 序列长，LLM 注意力成本高                       │
│                                                         │
│  Q-Former（BLIP-2, InstructBLIP）：                      │
│  ┌──────────┐    ┌──────────┐    ┌──────────┐          │
│  │ Visual   │    │Q-Former  │    │          │          │
│  │ Features │───►│(可学习   │───►│   LLM    │          │
│  │ (N patch │    │ query,   │    │          │          │
│  │  tokens) │    │ M tokens)│    └──────────┘          │
│  └──────────┘    └──────────┘                           │
│  优势：大幅压缩 token 序列（10x），降低推理成本               │
│  劣势：可能丢失细粒度视觉信息                               │
└─────────────────────────────────────────────────────────┘

一个反直觉的发现是：更简单的 MLP 投影在大多数 benchmark 上表现优于更复杂的 Q-Former。原因在于：

当 Vision Encoder 和 LLM 都足够强时（如 SigLIP 2 + Qwen2-7B），表示空间本身已经足够语义丰富，一个简单的线性变换就足以完成对齐
Q-Former 的 token 压缩虽然降低了计算成本，但也丢失了 patch 级别的空间保真度

工程实践建议：对于精度优先的场景（OCR、文档理解、细粒度识别），选择 MLP 投影；对于延迟和内存受限的场景（边缘设备、实时视频），Q-Former 的 token 压缩是更务实的选择。

2.3 位置编码：MROPE 与 2D-RoPE

传统文本 Transformer 使用 1D 位置编码，但视觉数据具有天然的 2D 空间结构。多模态模型需要一种能同时编码文本序列位置和图像空间位置的方案。

Qwen2.5-VL 的 MROPE（Multimodal Rotary Position Embedding） 是目前最成熟的方案之一：

将 1D ROPE 扩展为三维旋转位置编码：时间维度 + 高度维度 + 宽度维度
视觉 token 的位置直接与图像中的空间坐标对应
视频帧的位置通过动态 FPS 采样与绝对时间戳对齐

Qwen2.5-VL Vision Encoder 的创新：

引入 Window Attention：在 ViT 中混合使用全注意力和窗口注意力，将计算复杂度从 O(N²) 降至线性
支持动态分辨率：训练和推理时将图像高宽调整为 28 的倍数，patch stride 为 14
MLP Vision-Language Merger：将空间相邻的 patch 特征分组、拼接、投影，压缩视觉 token 序列长度

3. 主流模型全景对比

3.1 闭源前沿模型

模型	发布方	发布时间	核心能力	MMMU	上下文窗口
GPT-5.2	OpenAI	2025.12	原生多模态理解+生成	84.2%	128K
Claude Opus 4.5	Anthropic	2025.11	Computer Use + 代码	77.8%	200K
Gemini 3 Pro	Google	2025.11	原生多模态 + 超长上下文	~83%	1M
GPT-4o	OpenAI	2024.05	端到端多模态（文本+图像+音频）	—	128K

三大闭源模型的哲学差异：

GPT-5.2：追求全能，在数学推理（AIME 2025: 100%）和抽象推理（ARC-AGI-2: 52.9%）上领先
Claude Opus 4.5：追求深度，在代码任务（SWE-bench: 80.9%）和计算机操控上无可匹敌
Gemini 3 Pro：追求广度，1M token 上下文窗口和原生多模态是其核心差异化优势

一个关键洞察：闭源模型均不公开其 Vision Encoder 的具体架构选择。GPT-5、Gemini 3、Claude Opus 4.5 的视觉编码器设计仍然是未公开的工程秘密。

3.2 开源模型生态

截至 2026 年，开源 VLM 市场已形成三大主流谱系：

模型系列	开发方	架构特点	旗舰规模	核心优势
Qwen3-VL	阿里巴巴	SigLIP 2 + MLP + MROPE	235B (A22B active)	通用性最强，256K 上下文
InternVL	上海 AI Lab	InternViT-6B + MLP	78B	超大视觉编码器，精度最高
LLaVA-OneVision	UW + 田纳西	SigLIP + MLP	72B	开源标杆，领域适配灵活

三大谱系的定位差异：

Qwen3-VL：最适合通用服务，从 3B 到 235B 覆盖全场景，256K 上下文可扩展到 1M，原生支持 GUI Agent 和视频理解
InternVL：最适合精度分析，6B 级的巨型视觉编码器从图像提取阶段就进行深度推理
LLaVA-OneVision：最适合领域定制和实际部署，架构透明、权重开放、社区活跃

其他值得关注的开源模型：

GLM-4.6V（智谱 AI）：引入原生多模态工具调用，支持 UI 截图直接作为工具参数
Gemma 3（Google）：从 Gemini 研究衍生，支持 140+ 语言，专为边缘部署优化
Pixtral 12B（Mistral）：在多模态指令遵循任务上显著超越同规模模型
Molmo（AI2）：完全开放的视觉-语言模型，包含完整的训练数据和代码

4. 多模态训练范式

4.1 预训练：从对比学习到交织数据

现代多模态模型的预训练已经从单纯的对比学习演进为一个多目标、多阶段的复杂流程。

预训练数据的三个关键来源：

图文对数据（Image-Text Pairs）：CLIP、LAION 等数据集，用于对比学习
交织数据（Interleaved Data）：网页中的图文交错内容，如 Obelics、MMC4，用于训练模型在混合序列中理解图文关系
高质量 Caption 数据：经过重标注（recaptioning）的图像描述，用于提升描述质量

一个被低估的趋势是"重标注"（Recaptioning）：用 GPT-4V 等强模型为现有图像生成更高质量的文字描述，再用这些数据训练 VLM。LLaVA-NeXT 和 InternVL 的成功很大程度上归功于数据质量的提升。

4.2 微调：Visual Instruction Tuning

Visual Instruction Tuning 是 Era 2 以来的标准微调范式。核心思想是：将视觉理解和语言指令遵循结合在一个统一的训练目标中。

关键设计选择：

数据格式：(图像, 用户指令, 助手回复) 三元组
训练目标：仅在助手回复部分计算损失，图像 token 和用户指令不参与损失计算
数据多样性：涵盖 VQA、OCR、图像描述、逻辑推理、代码生成等多种任务类型

4.3 对齐：从 RLHF 到 GRPO

多模态模型的对齐（Alignment）面临额外挑战——不仅要对齐文本输出的质量，还要确保视觉理解的准确性。

当前的对齐技术演进：

阶段	方法	核心思想	局限
RLHF	PPO + 奖励模型	训练奖励模型评估回复质量	训练不稳定，需要多个模型
DPO	直接偏好优化	跳过奖励模型，直接从偏好数据学习	偏好数据质量是关键瓶颈
GRPO	组相对策略优化	组内对比代替绝对奖励评分	2025 年后的主流趋势

2025-2026 年的关键趋势：对齐技术从 RLHF 演进至 GRPO/DAPO，训练更稳定且不需要单独的奖励模型。Qwen3-VL 和 DeepSeek 系列都采用了 GRPO 变体进行多模态对齐。

5. 多模态应用实战指南

5.1 模型选型决策树

需求分析
│
├── 需要图像理解？
│   ├── 是 → 闭源优先（GPT-5.2/Gemini 3）或 开源（Qwen3-VL）
│   └── 否 → 纯文本 LLM 即可
│
├── 需要视频理解？
│   ├── 是 → Gemini 3 Pro（1M 上下文）或 Qwen3-VL（动态 FPS）
│   └── 否 → 图像理解模型即可
│
├── 需要原生图像生成？
│   ├── 是 → GPT-4o/5 或 Gemini 3
│   └── 否 → 单独的图像生成模型（DALL-E、Stable Diffusion）
│
├── 需要端侧部署？
│   ├── 是 → Gemma 3 (1B-27B) 或 Qwen3-VL-3B
│   └── 否 → 云端 API 或全规模开源模型
│
└── 需要领域定制？
    ├── 是 → LLaVA-OneVision + LoRA 微调
    └── 否 → 直接使用预训练模型

5.2 典型应用场景

文档智能处理：使用 Qwen2.5-VL 或 Claude 4.5 处理发票、合同、报表等结构化文档。MROPE 编码使模型能理解文档的空间布局，结构化输出能力直接返回 JSON。

视觉 Agent / GUI 操控：使用 Qwen3-VL 或 GLM-4.6V 构建能理解屏幕截图并执行操作的 Agent。这些模型支持将 UI 截图直接作为工具参数，无需文本转换。

实时视频分析：使用 Gemini 3 Pro 处理长视频（支持 1M token 上下文），可以精确定位视频中的特定片段并生成时间戳级别的分析报告。

5.3 成本优化策略

多模态模型的输入 token 成本远高于纯文本模型（图像 token 通常占数千到数万 token），成本优化至关重要：

动态分辨率：对于不需要高分辨率的任务（如粗粒度分类），降低输入分辨率可以显著减少 token 消耗
视觉 token 压缩：使用 Q-Former 或 MLP Merger 将视觉 token 压缩 5-10 倍
多模型分层：简单视觉任务用小模型（Gemma 3 4B），复杂任务才调用大模型

6. 前沿趋势与展望

6.1 World Model：从理解到预测

2026 年最引人注目的趋势是多模态模型正在向 World Model 演进——不仅理解当前看到的图像，还能预测未来会发生什么。

NVIDIA 的 Cosmos 3、Kairos（4B 边缘实时世界模型）等工作表明，视觉编码器的 trunk 正在从"特征提取器"转变为"世界预测器"。

6.2 Encoder-Free 架构

EVE 等工作探索了完全去掉独立视觉编码器的可能性——所有模态在同一个 Transformer 中被直接处理。虽然目前性能尚未超越传统架构，但代表了一个长期趋势：模态之间的边界正在消融。

6.3 多模态推理能力

R1-VL 等工作将 DeepSeek-R1 的推理能力引入多模态模型，通过逐步视觉推理（step-wise visual reasoning）显著提升了复杂视觉推理任务的表现。视觉推理模型可能成为下一个竞争焦点。

6.4 端侧多模态

Gemma 3（1B-27B）和 Qwen3-VL-3B 表明，多模态能力正在下沉到边缘设备。手机、无人机、AR 眼镜上的实时视觉理解将成为标配。

总结与展望

多模态大模型在六年内经历了从"冻结双塔"到"端到端原生多模态"的范式跃迁。核心要点：

架构演进的主线是"减少信息瓶颈"：从 CLIP 的冻结双塔 → LLaVA 的 LLM+投影 → GPT-4o 的端到端联合训练，每一代都在减少模态之间的信息损失
Vision Encoder 的训练方法比规模更重要：400M 参数的 SigLIP 2 在大多数场景下优于 5.9B 的 InternViT-6B
MLP 投影在精度上优于 Q-Former，但 Q-Former 在推理效率上有不可替代的优势
开源生态已形成三足鼎立：Qwen3-VL（通用）、InternVL（精度）、LLaVA（灵活性），覆盖绝大多数生产场景
2026 年的关键趋势：World Model 化、Encoder-Free 探索、视觉推理能力、端侧部署

多模态 AI 正在从"能看图的聊天机器人"演变为"理解世界的通用智能系统"。作为 AI 工程师，理解这套技术栈的全貌，才能在快速变化的技术格局中做出正确的架构决策。

参考资源

Vision-Language Models Overview — VLM 架构演进的系统性追踪，包含四大时代的详细分类
SigLIP 2: Multilingual Vision-Language Encoders — Google DeepMind 发布的下一代视觉编码器
Vision Encoders in VLMs: A Survey — Jina AI 对 70+ VLM 中视觉编码器的系统性分析
Qwen2.5-VL Technical Report — Qwen2.5-VL 的架构创新与 benchmark 表现
LLaVA: Visual Instruction Tuning — LLaVA 系列的奠基性工作
GPT-4o Architecture Analysis — GPT-4o 端到端多模态架构的公开信息分析
Multimodal AI and VLMs 2026 — 2026 年多模态 AI 全景综述