第八章：视频生成模型¶

本章讨论视频生成相对图像生成新增的时序维度问题；扩散与 Flow Matching 的基础生成原理见第七章，本章默认读者已了解该基础，只展开视频特有的架构扩展与评测。

8.1 视频比图像多出的维度¶

把图像生成模型直接逐帧独立应用于视频，会产生帧与帧之间闪烁、物体形状漂移、运动不连贯等问题——因为逐帧生成没有任何机制保证相邻帧属于"同一个连续物理过程"。视频生成模型必须显式建模时间维度，核心新增问题是：

问题	说明
时序一致性	主体身份与场景状态应连续合理；遮挡、快速运动或切镜可以导致不平滑变化
运动建模	需要生成合理的物体运动轨迹，而不只是静态外观的堆叠
计算与显存成本	视频比单张图像多一个时间轴，序列长度和显存占用随时长、帧率显著增长
长时长生成	超出训练时长后的外推容易出现内容漂移、遗忘早期帧的信息

8.2 架构路线：从"加时间层"到"时空一体建模"¶

一种路线在图像网络中增加时间注意力或时间卷积，使帧之间共享信息。Video Diffusion Models 使用空间与时间分解的架构并联合训练图像和视频；Imagen Video 使用视频扩散与时空超分辨率级联。它们说明时序扩展可行，但不能都概括成“冻结已有图像模型，只插入时间层”。Stable Video Diffusion 则明确研究图像预训练、视频预训练和高质量视频微调等阶段。

另一条路线把压缩后的视频表示切成时空 patch，再交给 Transformer。OpenAI 2024 年 Sora 技术报告公开了这种设计及可变时长、分辨率、宽高比训练，但没有完整披露每层注意力实现，不能据此断言“不再区分空间层和时间层”，也不应外推到所有后续 Sora 产品。可变尺寸仍需要位置编码、分桶或打包、掩码及显存预算配合，不是用了 patch 就自动成立。两条路线可以结合，不是严格的第一代、第二代替代关系。

8.3 时空 Patch 与 Transformer 骨干的扩展性¶

Transformer 骨干可配合扩散或 Flow Matching，但 Sora 2024 报告不能作为其采用 Flow Matching 的证据。从图像扩展到视频还涉及时间压缩、时空位置编码、帧率条件和注意力范围，不只是换一种 patch 名字：

扩展性：相关报告观察到增加训练计算后的质量变化，但不证明数据量、参数量与视频时长可以无限按同一规律增长。视频数据质量、运动分布和压缩损失仍可能成为瓶颈；
计算成本：若 latent 尺寸为 \(T'\times H'\times W'\)，patch 尺寸为 \(p_t\times p_h\times p_w\)，整除时序列长度为：

\[ N=\frac{T'}{p_t}\frac{H'}{p_h}\frac{W'}{p_w} \]

全注意力的注意力部分计算量为 \(O(N^2d)\)，但投影、前馈层、编解码器与采样次数也有成本；FlashAttention 减少中间矩阵存储，不消除全注意力的二次计算。局部、分解或稀疏注意力会改变成本，所以不能一概声称视频必然比图像贵某个数量级。

8.4 一致性、可控性与长视频生成的局限¶

控制输入可以是文本、首帧、参考图、姿态或相机轨迹，具体支持范围取决于训练数据和模型接口。Stable Video Diffusion 论文研究文本到视频和图像到视频，初期发布的图像条件权重不能与整篇论文的任务范围混为一谈。常见局限包括：

长视频的漂移：训练时长有限，超出训练时长范围的外推生成容易出现内容主体漂移、物体消失重现、场景突变等不一致现象；
物理规律的近似性：技术报告和公开评测都强调，这类模型学到的是对物理世界规律的统计近似，而非显式的物理模拟，复杂的碰撞、液体、多物体交互等场景仍容易出现不符合物理直觉的结果，评测和产品说明应明确这一局限，避免夸大为"世界模拟器"的确定性能力；
成本与延迟：同类模型、同分辨率和相近采样设置下，多帧通常比单帧更昂贵，需明确时长、帧率、分辨率、采样预算与排队策略，不能跨模型直接比较。

长视频可采用重叠窗口、关键帧或分层生成、历史片段条件等方法。窗口重叠能缓解接缝，却可能累计错误；压缩历史节省显存，却会遗忘主体细节；更强参考图约束有利于身份保持，也可能抑制运动。这些都是权衡，不是时序一致性的保证。还应把“保持主体身份”和“相机运动时像素保持不变”区分开，后者反而会阻碍合理运动。

8.5 评测¶

维度	指标	说明
分布层面的视觉/时序质量	FVD（Fréchet Video Distance）	比较视频编码器特征的分布统计，不保证细微运动或物理错误可被发现
文本一致性	图像-文本/文本-视频对齐分数、人工评估	衡量生成内容是否遵循文本描述的主体、动作、风格；仅靠逐帧得分不能判断时间顺序
运动与一致性	VBench 分项指标 + 人工评估	分开看动态程度、运动平滑、闪烁、主体一致性；物理合理性仍需专门验证
时长与分辨率鲁棒性	分时长/分辨率分别报告的质量下降曲线	避免只展示最佳条件下的少量精选样本

VBench 已提供主体一致性、运动平滑、时间闪烁等自动化维度，不能把运动评测描述为只有人工方法。但静止视频也可能取得很好的平滑分数，因此必须同时检查动态程度和提示要求。FVD 比较还应固定样本量、帧数、帧率、裁剪和特征提取器；不同条件的总分不宜直接排序。

8.6 常见错误¶

8.6.1 把"能生成长视频"等同于"长视频质量稳定"¶

超过训练时长的外推生成经常伴随漂移和一致性下降，评测和宣传都应明确报告不同时长区间下的质量变化，而非只展示精选的最佳片段。

8.6.2 把展示视频当作物理仿真能力的证据¶

视觉上合理不证明具有可验证的物理模拟能力。需要物理正确性的应用应测试守恒、接触、遮挡后状态和动作后果等约束，并统计失败率；精选演示既不能给出失败率，也不能证明模型内部机制。

8.6.3 忽视计算成本对产品设计的约束¶

应根据生成长度与实际时延选择同步返回或异步任务。较长任务需要进度、取消、配额、失败重试和产物保留策略，不能只把图像接口的返回类型改成视频。

8.7 本章总结¶

视频生成新增时序一致性与运动建模，多帧计算通常还会增加资源需求；
时间层与时空 patch 是可组合的设计；可变时长和分辨率需要训练、位置表示与调度共同支持；
固定压缩与 patch 设置时，序列长度随空间尺寸和时长乘性增长；成本还取决于注意力结构和采样预算；
长视频生成存在内容漂移，模型对物理规律的建模是统计近似而非精确仿真，两者都需要在产品说明中明确边界；
FVD、VBench 与人工评测互补，应同时检查画质、运动量、主体一致性及不同生成预算下的退化。

参考资料¶

本章的参考资料、阅读建议与来源说明见集中参考资料章节。