视频生成模型如何工作

一句话总览：当代主流视频生成模型 ≈ 在压缩潜空间里运行的扩散模型 + Transformer 去噪主干（DiT）。这一章拆开这句话，并告诉你每个组件对应的实操含义。

1. 扩散模型：先学会"弄糊"，再学会"还原"

扩散模型的训练过程分两步：

1. 加噪（前向过程）：拿一段真实视频，逐步往里加高斯噪声，直到变成纯噪声。加多少噪由一张噪声日程表（noise schedule，记作 β_t）控制——前期每步只加一点点，后期越加越多，全程约一千步走完"清晰 → 纯噪声"。
2. 去噪（反向过程）：训练一个神经网络，给定"带噪视频 + 噪声程度 + 条件（提示词）"，预测出噪声，把视频还原一步。

注意第二步网络学的是什么：它不直接预测"干净的视频长什么样"，而是预测**"这一步加进去的噪声是什么"**（论文里叫 ε-预测）。这个设计很工程：直接预测干净画面，目标随噪声程度忽大忽小，训练不稳定；而"预测噪声"的目标分布更平稳、训练更稳定——知道噪声是什么，做减法就还原了一步。

推理（你实际生成视频时）则反过来：从一团纯噪声出发，让网络迭代几十步，逐步把噪声"还原"成一段连贯视频。

实操推论：抽卡是必然成本，不是你没写好提示词。 每次生成的起点是随机噪声，采样路径本身有随机性——同样的提示词跑 5 次会得到 5 段不同的视频。这决定了漫剧制作的成本模型必须是"单镜头成本 = 单价 × 平均生成次数（含首抽）"，详见视频生成的成本策略。

采样：从一千步到几步的提速史

原版扩散模型（DDPM，2020）生成一个样本要走完约 1000 步去噪。1000 步出一张 256×256 的图，在现代 GPU 上已是秒级；但把同样的步数放到一段视频上，按今天的算力也要等几分钟——产品化不可行。此后五年的主线就是"砍步数"：

• 调度器改进（DDIM 等，2021）：重新推导采样轨迹的数学形式，发现可以"跳步"——不必亦步亦趋走完 1000 步，几十步就能走出近似的路径。你在工具参数里看到的 steps=20/30/50，调的就是这个。
• 蒸馏（distillation，2022 起）：让一个"学生模型"直接模仿"老师模型走完几十步后的结果"，把多步压缩成几步甚至一两步。一致性模型（Consistency Models）、渐进蒸馏都是这条路线。
• 代价：步数越少，每步要"脑补"的越多——细节、纹理与一致性随步数下降。

实操推论：平台的"极速/标准/高品质"档，本质就是步数与蒸馏程度的差异。 极速档是几步出片的蒸馏版，便宜快但细节略降；高品质档步数足、代价是贵且慢。由此派生的"探路用极速、定稿用高品质"打法与成本数字见 §4 的实操推论（视频生成章有完整成本控制策略）。

引导强度：模型有多"听劝"（CFG）

光有"提示词能影响生成"还不够——影响有多强？答案是无分类器引导（Classifier-Free Guidance，CFG）：每一步去噪时，同一个网络跑两次——

1. 一次带着你的提示词（条件预测）；
2. 一次带空提示词（无条件预测）。

然后把两次预测的差值放大 s 倍加回去：最终方向 = 无条件方向 + s ×（条件方向 − 无条件方向）。直觉：差值代表"提示词想把画面往哪推"，s 就是这个推力的倍率。

• s 调大：画面更贴提示词，但放大过头会僵硬、过饱和、构图单一（被推得太狠，丧失了多样性）；
• s 调小：更自由更有变化，但容易"跑题"——你说你的，它画它的。

实操推论一：这就是工具里"引导强度 / 提示词相关性 / 创意度"滑块的原理（各平台命名不同）。角色镜头求稳可适当调高，空镜探索可调低。

实操推论二：负面提示词的本质，是把"无条件"那一路替换成"负方向条件"——不再与"什么都没说"做差，而是与"低画质、畸形、水印"做差，等于显式告诉模型"远离这个方向"。所以正面提示词里写"不要出现手"是反效果（"手"这个词反而被激活了），该写进负面栏——这也是提示词工程四条铁律中"否定弱"的机制根源。

补充：今天的训练目标——流匹配

上面用"预测噪声"（ε-预测）讲解，是因为它直觉最清晰；需要更新的认知是：今天的主流视频 DiT（包括 §4 列出的 Wan2.x、HunyuanVideo、Seedance）大多以流匹配（flow matching / rectified flow）为训练目标——把"加噪-去噪"推广为学习一个从噪声指向数据的连续速度场：网络预测的是"此刻该往哪个方向走、走多快"，采样轨迹因此被设计成近似直线，前面讲的 ε-预测可视为这一框架的特例。实操推论：这也是采样步数能压到几步的原因——近似直线的轨迹比 DDPM 时代的随机游走"好走"得多，每步迈得大也不容易跑偏（配合前面的蒸馏，几步出片才成为可能）。

2. 潜空间：为什么模型不直接在像素上工作

一段 10 秒 1080p、24fps 的视频有约 240 帧 × 200 万像素——直接在像素空间做扩散，算力开销不可行。所以现代模型都先做压缩：

• 用一个 VAE（变分自编码器） 把视频压缩进低维"潜空间"（latent space），空间上缩小 8 倍左右，时间上也有压缩；
• 扩散去噪全程在这个小得多的潜空间里进行，最后再用 VAE 解码回像素。

这就是 "Latent Diffusion"（潜扩散）路线，Stable Diffusion 图像模型与主流视频模型共享同一思想（论文：Rombach et al., Latent Diffusion, CVPR 2022）。

压缩率演算：感受一下数字

以一段 5 秒、1080×1920（竖屏）、24fps 的视频为例：

阶段	尺寸	量级
原始像素	120 帧 × 1080×1920 × 3 通道	≈ 7.5 亿个数值
VAE 空间压缩（8×8）+ 时间压缩（约 4×）	约 30 latent 帧 × 135×240 × 16 通道	≈ 1600 万个数值
切成时空 patch 成 token	空间 patch 2×2，时间维 patch 假设见下方演算	≈ 十万级 token

第三行的 token 数值得把演算显式写出（结论对 patch 假设敏感）：空间维 135×240 按 2×2 切 patch，每个 latent 帧约 68×120 ≈ 8100 token；时间维若同样按 2 切 patch，30 个 latent 帧并成 15 个时间片，全片 15 × 8100 ≈ 12 万 token；若时间维不切 patch，则 30 × 8100 ≈ 24 万 token。即一段 5 秒 1080P 视频进入 DiT 的 token 量级是十万级（12 万~24 万，取决于时间维 patch 假设）——下一节的注意力演算就建立在这个数字上。

两个结论从数字里直接长出来：

1. 压缩把数据量降了约 48~50 倍（约 1.7 个数量级：log₁₀48 ≈ 1.68），扩散才有算力可行性——但代价是信息有损；
2. 为什么丢的是"细节"：8×8 压缩意味着每个 latent 点要概括原图 8×8=64 个像素——发丝、文字笔画、皮肤纹理这类高频信息在压缩时被"平均"掉了，解码器只能根据统计经验把它们"脑补"回来。脑补对发丝尚可蒙混（远看像头发就行），对文字就是灾难——每个字都是独一无二的形状，脑补出来全是"像字的乱码"。

实操推论：画质上限和"果冻感"部分来自压缩。 快速运动、细密纹理（头发、文字）在压缩-解压中最易丢失，这就是生成视频里小字招牌常糊掉、高速动作易出残影的原因。分镜时避免让关键信息依赖小字与极端高速运动——系统面板、聊天记录等文字信息一律留到剪辑阶段贴图叠加（方法见分镜与美术设定的信息镜头一节）。

3. DiT：Transformer 成为去噪主干

早期扩散模型用 U-Net 做去噪网络。2022 年提出的 DiT 论文（Peebles & Xie，Scalable Diffusion Models with Transformers，ICCV 2023 收录）证明：把潜空间切成小块（patch），像处理词元（token）一样用 Transformer 处理，效果更好且随算力稳定提升（缩放律）。

视频模型把这个思路扩展到时间维：视频潜变量被切成时空 patch——一个小块同时覆盖几帧画面的一小片区域——整段视频变成一长串 token，交给 Transformer 做去噪。OpenAI 在 《Video generation models as world simulators》（2024）中公开了这一路线（Sora）：可变时长、可变分辨率、可变宽高比，都源于"一切皆 token"的设计。

实操推论：视频时长被算力硬约束。 Transformer 注意力开销随 token 数（≈ 时长 × 分辨率）平方级增长，这就是消费级产品单段普遍限制在 5~15 秒的根本原因（2026 年旗舰上限已抬至 15~30 秒，但平方律仍在——更长单段意味着更贵的档位）。漫剧的正确姿势是短镜头拼接（单镜头 3~6 秒），而不是指望一次生成长镜头——这与传统影视的镜头语言天然吻合。

注意力开销：平方律演算

自注意力的计算方式决定了它的代价结构：每个 token 都要与所有 token 两两计算一次相似度（一个 n×n 的注意力矩阵），n 个 token 就是 n² 次计算。

把数字代入（沿用上一节的演算，一段 5 秒 1080P 视频为十万级 token，取下限 12 万为示意）：

单段时长	token 数（示意）	注意力计算量	相对 5 秒
5 秒	≈ 12 万	(12 万)²	×1
15 秒	≈ 36 万	(36 万)²	×9
60 秒	≈ 144 万	(144 万)²	×144

时长翻 3 倍，注意力开销翻 9 倍——时长每加一点，成本按平方往上跳。这就是为什么平台按秒计费且单价随档位陡增，也是为什么单次采样的"60 秒一镜到底"在消费级产品上尚不存在——各平台的"续写/延长"功能（如即梦超长视频模式）正是当前的拼接绕行方案（在上一段结尾的基础上再采样一段）。工程上各家都在用稀疏注意力、滑动窗口等技巧缓解，但平方律的底数摆在那里。

时空 patch 与"闪烁"的根源

时空 patch 的设计还解释了一个常见瑕疵——画面闪烁与果冻感。注意力分两个方向起作用：

• 帧内（空间）注意力：保证单帧画面内部合理——脸是脸、手在该在的位置；
• 帧间（时间）注意力：保证动起来连续——这一帧的袖子摆动，下一帧还在相近的位置。

先排除一个误读：现代视频 DiT 并非逐帧独立去噪——整段 clip 的所有 token 共享同一条去噪轨迹、联合去噪，帧间注意力是在这条轨迹内部施加时序约束（这正是它与旧式"逐帧生成再拼接"方案的本质差别）。但轨迹的起点终究是一团带随机性的噪声：采样每走一步，各帧的随机起伏都需要帧间注意力在时间轴上"熨平"。镜头短、运动慢时熨得平；时长拉长或运动剧烈时，随机方差沿时间轴累积，模型熨不平的部分就表现为闪烁（纹理逐帧抖动）、果冻（肢体边缘像水波一样扭动）与中途变脸（角色特征在几十帧后漂成另一个人）。

实操推论：三个为人熟知的经验法则由此而来——① 单镜头 3~6 秒甜区（方差来不及累积）；② 高速运动镜头翻车率高（帧间变化大，注意力更难熨平）；③ 首尾帧锁两端之所以有效，是因为它把中间过程的"漂移总量"硬性压缩了。

4. 2024~2026 架构演进速览

以下开源/半公开模型是理解当前工具的技术坐标系（均为官方论文或技术报告）：

模型	机构	关键架构点
CogVideoX（2024）	智谱/清华	3D 因果 VAE + Expert Transformer，文本与视频用各自的自适应 LayerNorm
HunyuanVideo（2024）	腾讯	13B 参数，"双流→单流"混合 Transformer，用多模态大模型做文本编码器
Wan2.1（2025-03）	阿里通义万相	全栈开源：文生视频、图生视频、首尾帧（GitHub）
Wan2.2（2025-07）	阿里通义万相	首个 MoE 视频扩散：高噪专家管布局、低噪专家管细节，27B 总参每步仅激活 14B
Seedance 1.0（2025-06）	字节 Seed	原生多镜头叙事、10 秒 1080p，蒸馏加速降低推理成本（即梦等产品底层）

2026 年的实战主力模型（即梦 Seedance 2.5、可灵 Kling 3.0、通义万相 2.6/3.0）沿用同一 DiT 路线——上表是理解它们的架构思想坐标；各模型的能力参数与价格演进见附录：模型能力对比。

音画一体（音频联合生成；术语与路线选型见音频与口型生成原理）：Google Veo 3（2025-05）首次在消费级产品实现视频与音频（对白、口型、音效）联合生成，见 Veo 3 Model Card 与 DeepMind 官方页。注意：Google 未公开其架构论文，具体实现方式属未公开信息，社区分析多为推测。

表里两个值得展开的趋势：

• MoE（混合专家）登上视频模型：Wan2.2 把去噪网络拆成"高噪专家"与"低噪专家"——采样早期（画面还是一团噪声时）由高噪专家负责布局与结构，晚期（画面已接近成品）由低噪专家负责细节打磨，每一步只激活其中一个。直觉类似工厂分工：粗胚车间与精修车间各配一套设备，总参数量 27B 但每步只用 14B——容量上去了，单步成本没上去。这与语言模型里 DeepSeek 系 MoE 是同一思想。
• 蒸馏是消费级产品的隐形地基：§1 的"采样提速史"讲了原理——学生模型模仿老师模型的多步采样结果，几步出片。你用的每个"极速档"背后都是它。

实操推论：加速版模型是"蒸馏"出来的，档位打法直接对应成本。 机制 §1 已讲（极速档 = 高蒸馏 + 低步数，细节与一致性略降）；落到钱上——抽卡探路用极速档、定稿镜头用高品质档，能省 30% 以上积分（社区经验估算口径，非官方数据；具体档位命名以各平台当前页面为准）。

5. 把原理串成一张图

提示词文本
        │
        ▼
文本编码器 → 条件向量
        │  在每个去噪步
        │  经交叉注意力注入
        ▼
纯噪声 → DiT 去噪主干（迭代数十步）
        │  ▲
        │  └ 参考图/首帧另有独立注入通道（图像 K/V、channel-concat），
        │    不经文本编码器——见下一章《图生视频 vs 文生视频》
        ▼
  潜空间视频表示
        │
        ▼
  VAE 解码 → 视频

看懂这张图，你就能回答实战篇里 80% 的"为什么"：

• 为什么提示词有效 → 条件向量在每个去噪步注入（见提示词工程）
• 为什么参考图比文字更锁角色 → 图像条件比文本条件信息量大几个数量级（见图生视频 vs 文生视频）
• 为什么一致性会漂移 → 每段视频都是从新噪声独立采样的，模型没有"这是我的主角"的记忆（见角色一致性）
• 为什么有"引导强度"滑块、负面提示词为什么要单独一栏 → CFG 的双路预测机制（见 §1）
• 为什么小字必糊、高速动作易残影 → VAE 压缩丢高频（见 §2）

自测

1. 为什么消费级产品的单段视频普遍限制在 5~15 秒？
2. 为什么"极速档探路、高品质档定稿"能省钱？
3. 为什么同样的提示词跑 5 次会得到 5 段不同的视频？
4. 把"引导强度"（CFG）拉到最高，画面会更"忠实"还是更"听话但僵硬"？机制上为什么？
5. 为什么生成视频里的小字招牌几乎必糊，而发丝有时能蒙混过关？

查看答案

1. 算力硬约束：DiT 的注意力开销随 token 数（≈ 时长 × 分辨率）平方级增长——时长翻 3 倍，注意力开销翻 9 倍，时长被算力封顶。所以漫剧的正确姿势是 3~6 秒短镜头拼接，而不是指望一次生成长镜头（见第 3 节）。
2. 极速档是高蒸馏程度、低步数的版本，单价低但细节与一致性略降；探路阶段只需验证构图与动作方向，"够用"即可，定稿镜头才值得花高品质档的积分（见第 1、4 节）。
3. 每次生成都从随机噪声出发，采样路径本身有随机性——抽卡是必然成本，不是你没写好提示词（见第 1 节实操推论）。
4. 更"听话但僵硬"。CFG 把"条件预测 − 无条件预测"的差值放大 s 倍——s 过大时提示词的推力过强，画面被推向训练分布中最"典型"的区域，表现为过饱和、构图单一、细节僵硬（见第 1 节 CFG 小节）。
5. VAE 空间压缩约 8×8，每个 latent 点要概括 64 个像素，高频信息被平均掉、解码时靠"脑补"。发丝这类纹理有统计规律，脑补出来远看成立；文字每个字形状独一无二，脑补出来就是"像字的乱码"（见第 2 节压缩率演算）。

延伸阅读

• DiT 论文：https://arxiv.org/abs/2212.09748
• Latent Diffusion 论文：https://arxiv.org/abs/2112.10752
• Flow Matching 论文（Lipman et al., 2022）：https://arxiv.org/abs/2210.02747
• Rectified Flow 论文（Liu et al., 2022）：https://arxiv.org/abs/2209.03003
• OpenAI 视频模型官方解读：https://openai.com/index/video-generation-models-as-world-simulators/
• Seedance 1.0 技术报告：https://arxiv.org/abs/2506.09113
• Wan2.2 MoE 说明（官方仓库 README）：https://github.com/Wan-Video/Wan2.2