第九章：多模态训练数据与对齐¶
本章讨论数据覆盖、过滤和训练目标如何影响多模态能力，不能把“质量比数量重要”当成不需实验的定律。整体训练框架见 LLM · 多模态模型；RLHF、DPO 的通用原理见 LLM · 训练与对齐。
9.1 不同训练目标分别需要什么数据？¶
对比预训练和生成式预训练是不同目标，不是所有模型都依次经历两者。指令微调和偏好对齐也可以省略或交替进行。所需数据取决于冻结哪些模块、目标任务和已有基础模型，不能规定每阶段必须有多少条：
| 目标 | 样本组织 | 数据来源 | 关键质量要求 |
|---|---|---|---|
| 对比表征学习 | 正配对与采样的负配对 | 网页、授权数据、专门采集 | 正配对相关、假负例可控、长尾覆盖 |
| 生成式预训练 | 图文对、交错序列或音视频序列 | 网页文档、合成描述、授权媒体 | 条件与目标一致、时空对齐及序列边界正确 |
| 指令微调 | 媒体、指令、回答及可选证据 | 合成与人工标注 | 回答可由输入支持，任务与格式覆盖充分 |
| 偏好对齐 | 同一输入下的候选回答及偏好 | 人工或模型辅助比较 | 区分事实性、帮助性和安全性，控制长度偏差 |
数据、表示分辨率、模型容量、计算预算和优化方法共同限制效果。扩大数据不能恢复输入压缩丢掉的小字，提高分辨率也不能弥补训练里完全缺失的任务监督。
9.2 大规模图文对：来源与噪声¶
LAION-5B 是从 Common Crawl 提取图像链接及关联文本、再做 CLIP 相似度过滤的历史数据集案例。它主要发布 URL、文本和元数据索引，而不是为所有图像提供再分发或训练授权。链接失效、源站内容改变和权利状态不明都会影响复现与合规。alt text 还可能是导航词、SEO 文本或不完整描述，不能将“同一网页出现”视为可靠语义对齐。
9.3 数据质量过滤与合成描述¶
提升预训练数据质量的常见做法包括：
- 相似度过滤：可减少不匹配，但 CLIP 分数不是“配对正确概率”，可能偏好常见物体、语言和风格，误删专业图表、OCR 或长尾类别。阈值应按目标数据分层抽检，而非越高越好；
- 去重与划分：结合内容哈希、感知特征及文本去重，先按原始文档、视频、说话人或来源分组，再划分训练/验证/测试。相邻视频帧或同页不同裁剪不能被随机分到两侧，否则指标会因近重复泄漏而虚高；
- 合成/重新生成描述：DALL·E 3 报告研究了合成描述与原始描述的混合，而不是保证“全部替换”最优。详细描述可补充主体关系，也会带入描述器幻觉；应保留来源与原始文本，对计数、文字、关系等重点抽检，并比较不同混合比例；
- 安全与合规过滤：剔除包含儿童性虐待材料（CSAM）、非自愿隐私内容等违法或高风险内容，以及在许可与版权允许范围之外的素材，这一步不是可选项，而是数据管线中不可缺失的合规前置环节。
9.4 多模态指令微调数据的构建¶
预训练与指令微调并非能力的硬分区：前者提供图文关联和任务能力基础，后者通过指令样本调整问题处理、输出行为与证据使用。原版 LLaVA 展示了一种规模化构建指令数据的思路：用纯文本 GPT-4，基于 COCO 图像的人工描述与物体框生成对话、详细描述和复杂推理样本。它减少了逐条人工编写对话的需要，却仍复用了人工图像标注；GPT-4 不直接查看图像，合成样本因此受限于标注的完整性和准确性。
纯模型生成的指令数据存在放大标注偏差、生成不准确细节等风险，需要人工抽检并补充计数、空间关系、OCR 等薄弱任务。还要加入“目标不存在”“图像太模糊”“两张图无法确定是同一人”等不可回答样本，否则模型可能学会任何输入都编出完整答案。
一个实用对照是保留问题、替换或遮蔽媒体：若答案几乎不变且仍得高分，数据可能让模型依靠语言先验而非视觉证据。负例也要人工核验，避免把“没有标注”误判为“不存在”。
9.5 交错图文数据与上下文学习能力¶
指令微调可以包含单轮、多轮和多图任务，不只限于单轮。交错图文文档保留同一文档中图片与文字的顺序和关联，Flamingo 与 OBELICS/初代 IDEFICS 展示了这种训练组织对多图上下文任务的价值。它是重要来源，但不是唯一必要条件：人工构造的多图比较、示例串联和多轮数据也可以提供对应监督。仅扩大独立图文对数量，不能自动保证覆盖跨图关联。
拼接时还要明确图片边界、所属段落和可见性掩码；任意打乱网页顺序可能把问题配到错误图片。混合采样不能只看“样本条数”：一段视频或一页高分辨率文档可能消耗更多 token 与计算，应同时记录各任务抽样概率、有效 token、损失权重和训练耗时，防止长序列模态主导梯度。保留文本回放及分模态验证集，可检查加入视觉训练后是否损害原有语言能力。
9.6 多模态偏好对齐¶
多模态偏好需要把事实一致性与回答风格分开。LLaVA-RLHF 的事实增强奖励模型利用额外图像描述、真实选项等信息辅助判断，目的是减轻奖励投机，不是自动事实验证器。标注本身不完整时，也可能错罚正确细节。
使用 DPO 时，优选与劣选回答应针对同一媒体、同一问题；否则偏好差异可能来自输入难度而不是回答质量。可构造长度、语气相近而事实不同的候选，检查奖励是否真对空间、数量或文字错误敏感。拒答率也要一起测，避免模型通过一律回答“无法判断”降低幻觉率，却失去帮助性。
9.7 常见错误¶
9.7.1 只看数据规模，不看图文匹配质量¶
不能声称“严格过滤后少一个数量级的数据必然更好”。在相同训练计算预算下比较过滤强度，分别报告长尾、语言和任务切片结果；过度过滤可能提高平均分，却丢掉最需要的困难样本。
9.7.2 用纯成对图文数据覆盖多图/上下文学习能力需求¶
如果只训练独立图文对，应专门检验跨图比较、图序变化、指代与示例学习，不能用单图 VQA 分数代替。交错网页是一种补充方式，多图指令和经过核验的合成序列也可提供训练信号。
9.7.3 用通用偏好数据直接做多模态对齐¶
直接套用文本领域"哪个回答更详细/更有帮助"的偏好标注标准，容易鼓励模型生成更长但包含虚构细节的回答，多模态偏好数据采集应显式加入事实一致性校验（见 9.6 节）。
9.8 本章总结¶
- 训练阶段与数据规模没有统一配方，要匹配目标、已有模型、冻结范围和计算预算；
- 图文过滤、去重和合规审查需按来源设计；合成描述是可选增强手段，收益与偏差都要验证；
- 多模态指令微调数据可通过纯文本模型基于结构化标注合成生成，但需要人工审核和针对薄弱任务的专门补充；
- 交错文档和多图指令提供跨图关联监督，独立图文对的数量不能替代对这些任务的验证；
- 多模态偏好对齐需要显式的事实一致性校验，以避免奖励模型鼓励更详细但存在幻觉的回答。
数据改造是否有效，应在独立测试集和相同计算预算下验证；同时改变过滤、采样比例和训练步数，就难以判断收益来自哪一项。
参考资料¶
本章的参考资料、阅读建议与来源说明见集中参考资料章节。