规划与生成的统一
一句话定位
生成式模型（Diffusion、Autoregressive）与世界模型的融合趋势正在模糊”生成”与”规划”的边界——视频生成模型可直接作为隐式世界模型，而世界模型也可用于生成式任务。
前置依赖
核心思想
传统上，规划（Planning） 和 生成（Generation） 被视为两个不同的问题：
- 规划：在给定模型下搜索最优动作序列（如 MPC、A*、Value Iteration）
- 生成：在给定模型下生成符合分布的样本（如图像生成、语言生成）
然而，近年来生成式模型的快速发展正在打破这一界限。Diffusion 模型可以同时用于生成未来帧（视频生成）和评估动作质量（世界模型），而视频生成模型（如 Sora、Gen-2）也可作为隐式世界模型进行物理预测。
1.1 规划与生成的历史分离
经典规划范式：
状态空间 S → 动作空间 A → 转移模型 p(s'|s,a) → 奖励函数 r(s,a)
规划 = 搜索最优动作序列 argmax_{a_{0:T}} Σ r(s_t, a_t)
经典生成范式：
噪声 z → 生成器 G(z) → 样本 x
生成 = 从分布 p(x) 采样
两者的核心区别：
- 规划条件于动作，寻求最大化奖励
- 生成不条件于动作，寻求符合数据分布
1.2 融合的动机
问题1：开环生成的局限性
纯视频生成模型（如 Stable Diffusion）可以生成逼真的视频，但：
- 无法控制生成内容中的具体动作
- 无法根据智能体的动作条件生成
- 无法用于闭环控制
问题2：传统世界模型的视觉保真度限制
基于 VAE/RNN 的世界模型可以用于规划，但：
- 视觉质量有限（模糊、伪影）
- 难以生成复杂场景
- 与真实分布存在较大差距
融合的目标：结合两者的优势——生成式模型的高保真视觉 + 世界模型的动作可控性
数学推导
2.1 统一框架的形式化
设
传统世界模型：
其中
Diffusion 世界模型：
其中
视频生成模型作为世界模型：
其中
2.2 条件生成与规划的等价性
定理 2.1（条件生成 = 隐式规划） 给定条件生成模型
其中
引理 2.1（Diffusion 的梯度规划） 对于 diffusion 模型，
这意味着可以使用 gradient-based 方法进行规划，而非传统的离散搜索。
实践意义：在 diffusion 模型的采样过程中，可以直接加入奖励信号引导生成符合规划目标的结果。
2.3 能量函数视角
定义 2.1（世界模型能量函数） 将世界模型定义为能量函数：
其中
定义 2.2（生成模型能量函数） 将生成模型定义为能量函数：
统一能量视角：两种模型都是定义能量/损失函数，唯一区别在于输入条件。
模型结构图
┌─────────────────────────────────────────────────────────────────┐
│ 规划与生成统一框架图 │
├─────────────────────────────────────────────────────────────────┤
│ │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 条件 x (Conditioning) │ │
│ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │
│ │ │ 初始观测 │ │ 动作序列 │ │ 奖励/目标 │ │ │
│ │ │ o_0 │ │ a_{0:T} │ │ r(s,a) │ │ │
│ │ └─────────────┘ └─────────────┘ └─────────────┘ │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 统一生成器 G │ │
│ │ ┌──────────────────────────────────────────────────┐ │ │
│ │ │ │ │ │
│ │ │ p(o_{1:T} | o_0, a_{0:T}) = Diffusion(o_0, │ │ │
│ │ │ a_{0:T}, θ) │ │ │
│ │ │ │ │ │
│ │ │ 或 │ │ │
│ │ │ │ │ │
│ │ │ G(o_0, a_{0:T}) = VideoGen(o_0, a_{0:T}) │ │ │
│ │ │ │ │ │
│ │ └──────────────────────────────────────────────────┘ │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ 输出 o_{1:T} │ │
│ │ - 如果用于规划：评估奖励、选择动作 │ │
│ │ - 如果用于生成：展示给用户 │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────┘
┌─────────────────────────────────────────────────────────────────┐
│ 两种范式的对应关系 │
├─────────────────────────────────────────────────────────────────┤
│ │
│ 传统规划 (MPC/A*) │ 生成式规划 (Diffusion) │
│ ─────────────────────── ┼─────────────────────── │
│ 状态空间搜索 │ 隐空间采样 │
│ 离散动作序列 │ 连续动作/连续轨迹 │
│ DNN(Value/Actor) │ Diffusion UNet │
│ 确定性 │ 随机性（通过噪声） │
│ 规划质量 = 搜索深度 │ 规划质量 = 采样多样性 │
│ │
└─────────────────────────────────────────────────────────────────┘
训练细节
3.1 训练生成式世界模型
方法1：Video Prediction Training
类似传统世界模型训练，但使用视频生成目标：
其中
方法2：Action-Conditioned Diffusion
其中
方法3：Contrastive Learning for Action
鼓励正确动作后的状态与动作表示接近。
3.2 规划导向的训练
** Reward Conditioning**：
在 diffusion 训练时加入奖励信号：
这鼓励生成高奖励的轨迹。
** Goal-Conditioned**：
其中
** Classifier-Free Guidance for Planning**：
通过无分类器引导（Classifier-Free Guidance）放大条件效果。
推理/rollout/planning过程
4.1 Diffusion Planning Pipeline
┌─────────────────────────────────────────────────────────────────┐
│ Diffusion Model Planning Pipeline │
├─────────────────────────────────────────────────────────────────┤
│ │
│ Step 0: 初始化噪声 x_T ~ N(0, I) │
│ 条件: o_0 (当前观测), g (目标) │
│ │
│ Step 1: for t = T, T-1, ..., 1 do: │
│ // DDIM/DDPM 反向过程 │
│ x_{t-1} = μ_θ(x_t, o_0, a, t) + σ_t ε │
│ │
│ Step 2: 从 x_0 解码出预测的观测序列 \hat{o}_{1:T} │
│ │
│ Step 3: 评估奖励 R = Σ r(\hat{o}_t) │
│ 如果不满足条件，调整动作序列 a_{0:T} │
│ goto Step 0 (迭代优化) │
│ │
└─────────────────────────────────────────────────────────────────┘
4.2 Video Generation Model as World Model
流程：
初始观测 o_0 ──→ VideoGen(o_0, [action_0, action_1, ..., action_T])
│
▼
生成视频帧 o_1, o_2, ..., o_T
│
▼
评估视频质量/奖励
│
▼
选择动作 a_0 执行
代表工作：
| 模型 | 方法 | 用于规划的能力 |
|---|---|---|
| Sora (OpenAI) | Diffusion Transformer | 物理模拟，隐式世界模型 |
| Gen-2 (Runway) | Diffusion | 视频生成，动作控制有限 |
| NVIDIA Research Video Diffusion | Diffusion | 通过动作控制视频生成 |
| GaussianFormer | 3DGS + Diffusion | 可控视频生成 |
4.3 迭代式规划与生成
Model Predictive Path Integral Control (MPPI)：
def mppi_with_diffusion(world_model, obs, goal, num_samples=100):
"""
使用diffusion模型进行MPPI规划
"""
rewards = []
for _ in range(num_samples):
# 采样噪声轨迹
noise_traj = torch.randn(horizon, latent_dim)
# 使用diffusion生成候选轨迹
traj = world_model.ddim_sample(obs, noise_traj, guidance_scale=1.0)
# 计算奖励
reward = compute_reward(traj, goal)
rewards.append(reward)
# 加权平均选择动作
weights = softmax(rewards / temperature)
action = weighted_average(actions, weights)
return action优点与局限
5.1 优点
- 视觉保真度高：利用扩散模型的强大生成能力，生成的未来帧更逼真
- 动作可控性：条件生成可以控制动作，实现闭环规划
- 多模态规划：生成式模型天然支持多模态预测（多条可能轨迹）
- 与语言/视觉统一：可以用语言指令引导生成，实现语言-动作-视觉的统一
- 潜在一致性：物理规律在生成式模型中可能更一致
5.2 局限
- 计算量大：Diffusion 的迭代采样比单步 MLP 慢得多
- 长时序生成质量下降：即使使用 Diffusion，长时间生成的视频仍有质量问题
- 动作可控性有限：当前视频生成模型对动作的控制精度有限
- 规划效率低：需要多次采样评估，不如 Value Iteration 直接
- 物理一致性不保证：生成的视频可能在视觉上逼真但物理上不一致
5.3 融合的开放问题
| 问题 | 描述 | 研究价值 |
|---|---|---|
| 生成式规划的评价指标 | 如何衡量”好”的规划生成 | 高 |
| 动作条件的有效注入 | 如何让模型真正理解动作影响 | 高 |
| 长时序生成的一致性 | 如何保持跨时间步的物理一致 | 高 |
| 实时推理的加速 | 如何在有限算力下实时规划 | 中 |
| 多模态奖励的处理 | 多目标/多偏好的统一 | 中 |
与前后内容的衔接
- 前置：
- 1-Diffusion与世界模型 详细介绍了 Diffusion 用于世界模型的方法
- 1-MPC与随机最优控制 介绍了传统 MPC 规划方法
- 后续：
- 5-可研究的小问题清单 提供统一框架下的具体可研究问题
可复现实现要点
7.1 简单统一框架实现
class UnifiedWorldModel:
"""
统一的生成式世界模型接口
支持:
- 单步预测
- 多步rollout
- 条件生成
- 规划
"""
def __init__(self, diffusion_model, encoder, decoder):
self.diffusion = diffusion_model
self.encoder = encoder
self.decoder = decoder
def predict(self, obs, action):
"""单步预测"""
z = self.encoder(obs)
z_next = self.transition(z, action)
return self.decoder(z_next)
def rollout(self, obs, actions):
"""多步rollout"""
recon_list = []
z = self.encoder(obs)
for a in actions:
z_next = self.transition(z, a)
recon = self.decoder(z_next)
recon_list.append(recon)
z = z_next
return recon_list
def generate_future(self, obs, actions, num_denoise_steps=50):
"""使用Diffusion生成未来"""
z0 = self.encoder(obs)
# 初始化噪声
z_T = torch.randn_like(z0)
# DDIM 反向过程
trajectory = [z0]
for t in reversed(range(num_denoise_steps)):
z_tm1 = self.diffusion.ddim_step(
z_t, obs_cond=obs, action_cond=actions, t=t
)
trajectory.append(z_tm1)
z_t = z_tm1
return [self.decoder(z) for z in trajectory[1:]]
def plan(self, obs, goal, num_candidates=16):
"""基于梯度的规划"""
# 生成多个候选动作序列
candidate_actions = self.generate_action_candidates(num_denoises)
best_action = None
best_reward = float('-inf')
for actions in candidate_actions:
# 生成未来
future = self.generate_future(obs, actions)
# 评估奖励
reward = self.evaluate_reward(future, goal)
if reward > best_reward:
best_reward = reward
best_action = actions[0]
return best_action7.2 基于梯度的动作优化
def gradient_based_planning(world_model, obs, goal, lr=0.1, num_iter=100):
"""
使用梯度优化动作序列
"""
# 初始化动作序列
actions = torch.randn(horizon, action_dim, requires_grad=True)
optimizer = torch.optim.Adam([actions], lr=lr)
for _ in range(num_iter):
optimizer.zero_grad()
# 生成未来
future = world_model.generate_future(obs, actions)
# 计算负奖励（最小化 = 最大化奖励）
loss = -compute_reward(future, goal)
loss.backward()
optimizer.step()
return actions[0].detach() # 返回第一步动作7.3 实现注意事项
- Diffusion 采样速度：建议使用 DDIM 而非 DDPM，可减少 10-50x 采样步骤
- 动作条件注入：建议使用 cross-attention 或 adaptive norm，不要简单 concat
- Classifier-free guidance：训练时需要偶尔 drop 动作条件（通常 10-20%）
- 长视频生成：建议使用 temporal attention 或 3D convolution 处理时序一致性
章节摘要
规划与生成的统一是近年来世界模型研究的重要趋势。Diffusion 模型和视频生成模型（如 Sora）的成功表明，强大的生成能力可以同时服务于”想象未来”和”视觉规划”两个目标。统一框架的核心是条件生成：世界模型通过动作条件
关键词
规划与生成统一、条件生成、Diffusion规划、视频生成世界模型、隐式规划、能量函数视角、梯度规划、模型预测控制、多模态规划、Classifier-Free Guidance、DDIM采样