第二十三章：多模态模型¶

23.1 多模态不是“把图片塞进 Prompt”¶

多模态模型处理图像、音频、视频或文本等不同信号，可能输出文本、结构化结果或其他模态。输入模态与输出模态要分开看：支持图片问答不代表支持生成图片，支持语音转写也不代表能生成自然语音。

本章重点是将感知表示接入语言模型的多模态理解路线。难点不只是「对齐到共同空间」，还包括保留空间与时间细节、处理模态冲突，以及区分观察与推断；并非所有架构都要求把所有模态压成一个全局向量。

模态	常见原始表示	主要难点
图像	像素切块（patch）或视觉特征	分辨率、文字/小物体、空间关系
音频	波形、频谱或声学 token	采样率、说话人、时序与噪声
视频	帧序列 + 音轨	长时序、运动、跨帧一致性与计算量

23.2 编码器、connector 与语言模型¶

以输出文本的自回归多模态模型为例，常见架构可写成：

\[ z_m=E_m(x_m),\qquad h=C(z_m) \]

\[ p_\theta(y\mid x_m,x_t) =\prod_{i=1}^{T}p_\theta(y_i\mid y_1,\ldots,y_{i-1},h,x_t) \]

其中 \(E_m\) 是模态编码器， \(C\) 是连接或压缩模块， \(x_t\) 是文本输入，h 通过拼接或交叉注意力等方式参与生成。第一个输出 token 的前缀为空。该式描述条件文本生成，不涵盖所有图像或音频生成架构。

连接方式	做法	取舍
投影/拼接	用线性层或 MLP 将模态特征映射到 LLM 隐藏维度，再作为输入序列的一部分	接入较直接；模态 token 会占用上下文与 KV 容量
Cross-attention	语言侧表示通过交叉注意力查询模态特征	可分离语言序列与模态特征，但增加模块与计算，不能恢复编码器已丢失的信息
Resampler / token 压缩	先把大量模态 token 压缩为少量 latent	降低成本；细粒度信息可能丢失

这三行不是互斥架构：压缩多少 token与怎样接入语言模型是两个设计维度，往往组合使用。

CLIP 用图像与文本编码器进行对比学习，拉近匹配图文的表示、区分不匹配样本。它适合检索与零样本分类，但本身不是生成式聊天模型，也不保证细粒度空间关系理解。
Flamingo 先用 Perceiver Resampler 得到固定数量的视觉 latent，再用 gated cross-attention 接入冻结的语言模型；因此同时使用了压缩和交叉注意力。
原版 LLaVA 使用视觉编码器与线性投影，后续版本可能改用其他 projector，不能混写成整个系列只有一种结构。
BLIP-2 在预训练阶段用可学习查询的 Q-Former 连接冻结视觉编码器与冻结语言模型。查询压缩减少语言侧输入，但细节保留取决于训练目标和瓶颈容量；下游任务微调不一定继续冻结全部视觉参数。

23.3 三种模态的表示¶

23.3.1 视觉¶

Vision Transformer 通常把图像切为 patch 并编码为序列。高分辨率输入常采用切图、多尺度或动态分辨率策略；OCR、图表和小目标任务需要评测这些策略是否保留细节，而不仅看通用视觉问答分数。

若图像宽高都翻倍，且 patch 尺寸不变、不做额外合并，patch 数约变为四倍；实际视觉 token 数还受裁剪、缩放、合并与 resampler 影响，不能直接拿像素数推算所有模型的费用。Qwen2-VL 是动态分辨率及图文/视频位置编码的一种公开实现，不是所有 VLM 的通用规则。

OCR 错一个小数点就可能导致整份财报分析错误。应保留原图坐标、裁剪与缩放映射，必要时将通用 VLM 与专用 OCR/表格解析组合；只把 OCR 纯文本交给模型又可能丢失行列和版面关系。

23.3.2 音频¶

语音任务可从 log-Mel 频谱、预训练语音 encoder 或离散 codec token 开始。Whisper 本身是面向语音转写、翻译等任务的 encoder-decoder 模型，其 encoder 可被其他系统复用，但不能把 Whisper 直接等同于通用音频理解或语音生成模型。

路线	信息流	取舍
级联语音助手	ASR → 文本 LLM → TTS	中间文本容易审计与替换组件，但转写错误会传递，语气、音乐或环境声等信息可能丢失，延迟逐段累积
直接音频交互	音频表示进入多模态模型，并由受支持的音频生成模块输出	有机会保留更多副语言信息、联合优化交互；仍需验证流式延迟、打断、说话人及安全控制，不能仅凭「端到端」标签断言更好

ASR 常用词错误率：

\[ \mathrm{WER}=\frac{S+D+I}{N} \]

S、D、I 分别是相对参考转写的替换、删除和插入数，N 是参考词数。插入多时 WER 可以超过 100%；空参考转写需另定评分规则，不能直接除以零。中文可报告字符错误率 CER，若用 WER 必须固定分词、标点和数字归一化规则。转写准确不等于说话人分离或时间戳准确；音频理解还需覆盖环境声、音乐和重叠语音。生成语音则另测可懂度、韵律、时延与合法授权的说话人一致性。

23.3.3 视频¶

视频不是独立图片的集合。模型需要同时表示帧内内容、跨帧运动和长程事件。均匀抽帧成本低但可能漏掉关键瞬间；密集采样更完整但 token 与显存成本快速增长。应报告帧率、采样策略、最大时长和是否使用音轨。

时间戳或时间位置编码提供事件顺序线索；音轨、字幕和画面还需对齐。仅看到「杯子完好」和「杯子破碎」两帧，不能证明是谁打碎杯子；模型若没看到关键动作，应说明证据缺失，而不是用常识补成事实。检索候选片段后局部加密采样可控制成本，但第一阶段漏检也会限制后续判断。

23.4 训练：对齐之后还要会用¶

训练目标可分为以下几类，但不表示所有模型都按这三步训练：

预训练/对比对齐：用图文、音文或视频文本对齐表示；
生成式预训练：预测文本、离散模态 token 或跨模态目标；
多模态指令微调与偏好对齐：通过相应数据学习遵循问题、引用证据或拒答；这些行为不会因为增加了模态就自动具备。

需要说明各阶段更新哪些参数。原版 LLaVA 先冻结视觉编码器和 LLM、训练投影层做特征对齐，再在指令阶段训练投影层与 LLM，视觉编码器仍冻结；BLIP-2 的预训练则通过 Q-Former 利用冻结的两端模型。

冻结主干可以节省训练资源，并保持其预训练参数不变。它有助于降低遗忘风险，但可训练的 connector 或新增分支仍会改变组合系统的行为，因此还要评测已有能力是否保留。领域差异也可能难以仅靠 connector 弥补；解冻更多参数增强适配能力，同时增加资源消耗、过拟合与遗忘风险。

训练集应记录来源、许可、语言、采样方式和标注过程；图文错配、ASR 噪声、视频时间错位与合成数据偏差都会让模型学到错误关联。只会利用问题中的语言先验而忽略图像，也可能在有偏数据集上取得高分。

23.5 推理与部署¶

推理成本包含媒体下载与解码、编码器、LLM prefill 和输出 decode。高分辨率或长视频可能使感知侧成为瓶颈，但长回答、内部推理和音频输出也可能主导延迟，应实测分段耗时而不是预设瓶颈。

encoder 特征缓存需绑定媒体内容哈希、模型/编码器版本与预处理参数，包括分辨率、采样率和裁剪策略，并按租户权限隔离；
前缀 KV 的复用条件更严格，还要匹配文本/模态前缀、位置、模板与相关模型配置；相同图片出现在不同上下文中，不代表可以直接复用完整 LLM KV；
设定输入大小、帧数、时长、MIME 类型、解码时间和响应大小上限，避免资源耗尽；
将媒体下载、解码和模型推理隔离，远程 URL 输入还要遵循 Tool Protocol 安全的 SSRF 防护；
输出中区分“看见/听见的证据”和推断，避免把不确定观察写成事实。

23.6 评测与安全¶

单一总分不足以说明能力。至少按任务和风险拆分：

维度	示例
感知	OCR、物体/事件识别、ASR WER、时间定位
推理	图表、空间、跨帧因果、多模态问答
鲁棒性	模糊、压缩、噪声、口音、对抗贴纸、分布外输入
可靠性	幻觉率、校准、拒答与证据引用
安全与公平	隐私/人脸、敏感属性推断、刻板印象、版权与有害内容

诊断时可比较三组输入：原始媒体、人工核实的转写/结构化感知结果、去除媒体的纯问题。若正确转写能解决问题，优先排查感知；若仍失败，排查语言推理或任务规格；若无媒体也得高分，要检查语言先验与数据泄漏。人工转写可能丢失空间或语气信息，因此这种对照用于定位，不是完全等价的替代。

对于图表数值问答，分别记 OCR、单元格定位、计算和最终答案错误；视频事件任务还要评分时间定位，不能只看文字描述相似度。引用图像区域或视频时间段后，仍需核查该区域确实支持声明。

图像或音频中的文字也可能构成间接提示注入。多模态 Agent 应将其当作不可信内容，不能让其覆盖系统指令、审批或工具权限。涉及人脸、声纹、医疗、未成年人或位置数据时，应先明确合法性、同意、保留期限和人工复核要求。

23.7 常见错误¶

23.7.1 把支持图片输入等同于可靠视觉理解¶

接口能接收媒体只说明输入格式兼容。OCR、小目标、空间关系、长视频和跨模态证据仍要分别评测。

23.7.2 只比较模型总分，不固定媒体处理参数¶

分辨率、抽帧、音频采样、压缩和预算都会改变结果。比较时保留相同原始媒体、明确资源上限并披露各模型所需预处理；若模型只接受不同输入尺寸，应同时报告各自原生配置和相近预算下的结果，而不是强迫不兼容的预处理。

23.7.3 把媒体内容当成可信指令¶

图片文字、字幕和音频都可能携带间接提示注入。安全边界应由权限、数据流和工具策略建立，而不是只靠 Prompt。

23.8 本章总结¶

多模态输入与输出能力应分别核实；本章的 encoder—connector—LLM 是常见理解路线，不是唯一架构；
token 压缩与投影拼接、cross-attention 可以组合，分别控制信息瓶颈和接入方式；
图像、音频和视频必须分别处理空间、时序、采样与噪声问题；
部署时要限制媒体大小、隔离解码并正确设计缓存键；
评测应拆分感知、推理、可靠性、鲁棒性和安全。

多模态落地要同时回答三件事：证据怎么保留下来、序列成本怎么控住、感知和行动边界怎么分别验证。

参考资料¶

本章的参考资料、阅读建议与来源说明见集中参考资料章节。