第十章：多模态评测、安全与推理服务¶
LLM · 多模态模型 23.5–23.6 节已给出评测、安全与部署的整体框架（感知/推理/鲁棒性/安全维度拆分、encode-decode 成本结构、媒体输入限制）。本章不重复该框架，只补充三个该章未展开的具体问题：评测基准污染与动态化、图像/生成内容特有的攻击与溯源手段，以及推理服务的架构级工程实践。
10.1 怎样区分多模态能力提升与基准污染？¶
单看分数无法区分，应结合素材来源、近重复排查和未参与训练或调参的保留集。输入扰动可以辅助诊断，但不能仅凭一次分数下降就断定模型记住了测试题。
多模态评测基准（尤其是从网络图片和公开题库构建的基准）面临和纯文本基准类似但更隐蔽的污染问题：基准中的图像及其配对问答如果出现在预训练网络爬取数据中，模型可能"记住"了答案而非真正具备对应能力，导致基准分数虚高。这个问题在多模态场景下更难检测，因为图像的近似重复（不同分辨率、裁剪、水印版本）比文本的逐字重复更难用简单的哈希去重发现。
缓解方法包括真正新采集且未公开的保留集、图像感知去重与文本匹配、来源分组和定期更新。基准发布日期晚于训练截止日，不代表题目素材未曾出现：旧教材图片和答案可以被重新包装发布；截止日未知或模型持续更新时，更无法据日期排除污染。
MMMU 面向多学科学科知识，MathVista 面向视觉情境中的数学推理，它们并非动态基准，也不是靠题目复杂就能防污染。复杂题及其解答同样可被记忆。可以加入图像替换、数值扰动、遮蔽证据等对照，但性能下降只是诊断信号，不足以单独证明污染。报告模型/API 版本、提示模板、图像预算、工具权限和样本置信区间，才能把数据问题与推理预算差异分开。
10.2 图像特有的对抗与安全风险¶
除 LLM 第 23.6 节已提到的间接提示注入外，图像输入还存在两类更具体的攻击面：
- Typographic Attack（图中文字攻击）：在图像中加入与主体冲突的文字标签，可能让 CLIP 式分类器偏向文字概念。原始研究以零样本分类和线性探测等实验分析这一现象；成功与否依赖图像、文字和候选类别，不能断言任意贴字都能改变分类。这体现了视觉内容与文字线索之间的竞争，不等同于模型执行了文本中的恶意指令。
- 图像越狱（Visual Jailbreak）：相关论文在特定可访问模型和优化设置下构造视觉对抗样本，使对齐模型违反安全策略。扰动是否难以察觉、是否需要梯度、能否迁移到其他模型，都依赖威胁模型；不能把白盒实验直接表述为任意黑盒产品都可被同样绕过。失败也不能只归因于“视觉对齐数据不够”，视觉表示、跨模态接口和生成策略都可能参与。
安全评测应覆盖视觉/音频通道，并区分文字贴图导致的语义混淆、截图中的间接提示注入和优化得到的对抗扰动。需要报告攻击者权限、扰动约束、请求次数、目标模型及正常输入误拒率；一种攻击的结果不能替代另一种威胁的测试。
10.3 生成内容的溯源与标识¶
第七、八章讨论的图像和视频生成模型带来了新的溯源问题：生成内容和真实拍摄内容在视觉上可能难以区分。行业目前主要有两类应对方案：
- 内容凭证标准（Content Credentials / C2PA）：以数字签名将来源和编辑声明绑定到媒体资产，验证者检查绑定、签名和签发者信任关系。它能证明某签发者作过该声明、相关内容是否被篡改，不证明画面中的事件真实，也不保证所有编辑历史完整。这里引用固定的 2.1 规范作为概念依据，不宣称它是最新版本；
- 不可见水印（Invisible Watermarking）：直接在生成内容的像素或时域信号中嵌入人眼不可见但可被专门检测器识别的标记，例如 Google DeepMind 的 SynthID 已应用于图像和视频生成产品，目标是即使内容经过常见的压缩、裁剪等编辑后仍能被检测出生成来源。
两类方案互补：凭证验证的是来源声明，水印检测是在指定生成器和检测器体系内判断标记信号。凭证可能脱离文件，水印可能被编辑破坏，两者都不是绝对保证。没有凭证或没检出水印，不能证明是真实拍摄；检出结果也要结合误报率、置信度及媒体处理历史解释。
10.4 推理服务架构：编码与解码的资源画像不同¶
多模态输入增加媒体解码、预处理和模态编码，但瓶颈取决于请求：高分辨率短回答可能受 encode/prefill 限制，长回答可能受自回归 decode 限制。应分别测量这些阶段，而不是默认编码永远是瓶颈：
- 按实际工作量调度：文字也有长短差异，媒体则增加解码尺寸、帧数、切图数等变量。压缩文件大小不是视觉 token 数的可靠替代；应限制解码后像素、帧数、时长及输出预算，按编码工作量和总 token 预算分桶，防止大请求拖慢同批小请求；
- 区分三段计算：媒体编码、语言模型 prefill、语言模型 decode 是不同阶段。媒体编码产生特征，prefill 产生语言 KV，不能合称一个“编码阶段”。DistServe 研究的是文本 LLM 的 prefill/decode 分离，不直接证明多模态 encoder 分离的收益。分离部署可能减轻资源争用，但特征/KV 传输、排队、低负载利用率会抵消收益，应以目标负载下的首 token 延迟（TTFT）、首 token 后的平均每输出 token 耗时（TPOT）与满足时延约束的有效吞吐验证；
- 特征缓存不等于 KV 缓存：相同媒体在相同编码器与预处理下可以复用编码特征，缓存键需含媒体内容哈希、模型/适配器版本、裁剪与采样参数。语言模型中的 KV 还依赖完整前缀、位置、注意力掩码和模型配置；图片相同但前面的系统提示或文本改变时，不能直接复用那段语言 KV。若固定共享前缀在问题之前，可以用前缀缓存，而不是任意跨上下文拼接媒体 KV。
缓存还需租户隔离、权限检查、容量和过期策略，避免敏感媒体被跨用户复用或长期留存。流式音频和增量视频也不是一次性编码开销；持续到来的媒体必须占用独立预算。架构优化前先做压测，比较不同分辨率、帧数、回答长度和并发下的 P95 延迟、超时率、显存峰值与单请求成本。
10.5 常见错误¶
10.5.1 把基准分数的提升等同于能力的真实提升¶
分数变化可能来自能力、数据泄漏、提示或测试时计算预算变化。应检查原始素材来源与近重复，而不只看基准发布日期；训练数据未知时应明确“无法排除污染”，不能反向断言一定污染。
10.5.2 只对文本输入做安全红队测试¶
只测试文字提示无法覆盖视觉扰动、图中文字及音频中的指令，但这些风险也可能与文本指令遵循问题共享机制。应组合通道测试，而不是假定不同模态的漏洞完全独立。
10.5.3 把水印或内容凭证当作不可绕过的技术保证¶
裁剪、压缩或重编码对两类机制影响不同：水印信号可能变弱，签名绑定则可能验证失败，或需要编辑器重新签发凭证并保留来源链。不能把签名验证失败直接解释成内容虚假，也不能承诺所有生成内容都可检测。
10.5.4 用纯文本服务的批处理策略直接套用到多模态请求¶
忽视媒体大小导致的编码阶段负载差异，大媒体请求会拖慢同批次的其他请求延迟，应结合 10.4 节的资源画像差异重新设计批处理和调度策略。
10.6 本章总结¶
- 基准发布时间与题目来源时间不同；应结合保留集、近重复检测和输入对照评估污染风险；
- 图像输入存在 Typographic Attack 和视觉越狱等文本安全评测无法覆盖的特有攻击面，安全红队必须单独覆盖视觉/音频通道；
- C2PA 内容凭证和 SynthID 一类不可见水印是应对生成内容溯源问题的两类互补但非绝对可靠的工程手段；
- 媒体编码、语言 prefill、decode 应分开测量；特征缓存与前缀 KV 缓存有不同复用条件，分离部署需通过负载实验验证。
参考资料¶
本章的参考资料、阅读建议与来源说明见集中参考资料章节。