AI短剧中的数学基础与算法结构(附代码)
- 2026-11-19 05:47:09
代码链接: https://pan.quark.cn/s/7197433280ba
一、引言
视频生成的基本任务是在给定文本描述等输入信息后,构造具有空间合理性与时间连续性的画面序列。与图像生成相比,视频模型不仅需要描述人物和场景的外观分布,还需要表示这些内容随时间变化的联合分布。若仅对每帧独立建模,即使单帧质量较高,也难以保证相邻帧之间的外观与运动一致性。
设视频为 ,给定文本表示 ,学习目标是条件分布 ,而不是独立帧分布的简单乘积
右侧忽略了帧间依赖。人物运动、物体遮挡和场景变化均要求模型利用跨时间的信息,因此视频生成需要在整个时空表示上建立关联。
从算法结构看,可以将这一过程分为三个层次。视频自编码器学习紧凑表示,扩散模型或流匹配学习生成分布,U-Net 或 Transformer 实现相应的去噪函数与速度场。这三个层次分别回答“在哪个空间生成”“如何生成”和“用什么网络表示生成函数”,不能作为相互替代的算法类别。
二、视频潜空间表示
视频压缩与重建
原始视频可以表示为四阶张量
其中 为帧数, 为空间尺寸, 为通道数。若直接处理像素,变量数量随 增长,长时间、高分辨率视频会产生较大的计算与存储开销。
潜空间生成通过编码器将视频压缩为
再通过解码器重建
若时间压缩率为 ,空间压缩率为 ,则近似有
忽略通道数变化,时空位置数量约降为原来的 。不过,通道维度、网络结构和中间激活同样影响实际开销,压缩比不能直接等同于显存或运行时间的下降比例。
变分自编码器的概率解释
在变分框架中,编码器定义近似后验 ,解码器定义条件分布 。视频似然可以写为
由于边缘似然通常难以直接计算,训练可以最大化证据下界
第一项要求潜变量保留足够的重建信息,第二项约束潜空间分布。实际视频自编码器还可能加入感知损失与对抗损失,因此不能将所有实现都视为只优化上述两项。
潜空间生成系统由此形成两阶段建模
生成器学习潜变量分布,解码器负责恢复视频。若自编码器已经丢失面部细节或快速运动信息,后续生成器无法仅靠更准确的分布拟合消除全部重建限制。CogVideoX 与 Wan 均将视频压缩表示作为其生成系统的重要组成部分。
三、生成机制与网络结构
扩散模型的正向与反向过程
为区分生成时间与视频帧时间,以下用 表示扩散步,视频时间信息已经包含在潜变量张量中。
正向扩散逐步向真实潜变量加入高斯噪声
令 ,,可以直接得到任意时间步的扰动分布
因此,训练时无需依次执行全部加噪步骤,而是随机采样 并构造
反向过程学习条件转移
在常见的噪声预测参数化下,均值为
训练通常采用简化的噪声预测损失
这里的网络输出是整个视频潜变量上的噪声估计,并非分别对各帧作无关预测。帧间信息能否交换,取决于后续网络结构。
噪声预测与分数估计
扩散模型还可以从概率密度梯度理解。对于高斯扰动过程,在理想噪声预测下有
因此,训练噪声预测器相当于间接估计扰动分布的分数函数。反向生成利用这一局部密度信息,将噪声状态逐渐转移到与训练数据相符的区域。
但高概率不等于严格物理可行。模型学习的是数据中的统计规律,不能仅凭去噪目标保证所有运动满足几何、动力学或接触约束。
流匹配的向量场学习
流匹配通过连续输运建立生成过程。设 为基础噪声, 为数据潜变量,构造线性概率路径
沿这一条件路径的速度为
网络通过回归该速度训练
由于同一个中间位置可能对应不同端点配对,平方损失下的最优预测是条件期望
采样时求解常微分方程
若速度场准确,对应密度满足连续性方程
这一方程描述概率质量如何随速度场移动。它并不是视频场景的物理运动方程,生成时间 也不是画面中的真实时间。
扩散与流匹配都通过学习函数将简单分布转化为视频分布,但训练目标与路径构造不同。流匹配用于潜空间视频预测的研究,已经展示了连续速度场建模的可行性,不过视频预测不能直接等同于开放式文本视频生成。
U-Net 与多尺度时空建模
U-Net 通过编码、降采样、上采样和跳跃连接组织特征。其多尺度结构使网络能够同时处理局部纹理与大范围场景关系。
对于视频,特征可以写为 。三维卷积直接在时间和空间邻域内聚合信息
时间核将相邻帧关联起来,空间核处理局部图像结构。其归纳偏置适合局部连续变化,但有限感受野下,远距离运动和长时间依赖需要更深网络或额外注意力模块。
DiT 与全局时空关联
DiT 将潜变量划分为时空块,再映射为词元。设块大小为 ,词元数量为
每个块经线性投影并加入位置信息,得到表示矩阵 。注意力计算为
当词元来自不同帧时,注意力可以建立跨时间关联。空间位置信息与时间位置信息使模型能够区分外观相似但处于不同位置的内容。
完整时空注意力允许任意两个词元交换信息,其注意力矩阵规模为 。若将时间与空间注意力分解,记空间词元数为 ,时间词元数为 ,则主要注意力开销由
转变为近似
分解后的信息交换受到层结构限制,不能认为它与完整时空注意力具有完全相同的表达方式。
文本可以通过交叉注意力进入视频网络。视频表示作为查询,文本表示作为键和值,使不同视频区域能够读取相关语义。CogVideoX 的专家 Transformer、HunyuanVideo 1.5 的 DiT 设计均体现了这一类大规模时空建模思路,但具体模态融合与注意力结构各有不同。