Huajishe Notes

3-Diffusion Planning

35 min read

Diffusion for Planning

更新时间：2026-05-14 面向读者：深度学习与强化学习科研人员 推荐前置知识：DDPM / Score-based Model / Flow Matching / MDP / MPC

1. 背景：从扩散模型到规划

1.1 扩散模型的进展

扩散模型（Diffusion Model）经历了三个主要范式演进：

（1）DDPM（Denoising Diffusion Probabilistic Models，Ho et al., 2020）

DDPM 将生成分布的学习形式化为一个变分推断问题。设真实数据分布为 ，扩散过程定义为在 步内对数据逐步加噪：

其中 是噪声调度参数。逆过程 用神经网络近似：

Ho et al. 证明，最优均值预测器为：

其中 ，， 是噪声预测网络。

（2）Score-based Model（Song et al., 2019, 2021）

Score-based 模型从另一个角度切入：直接学习对数概率密度的梯度场 ，称为 score function 。训练目标为去噪分数匹配（DSM）：

其中 ，。

逆过程采样通过 Langevin 动力学实现：

（3）Flow Matching（Lipman et al., 2022; Pooladian et al., 2022）

Flow Matching 将扩散模型推广到任意 ODE 路径。定义源分布 （如噪声）和目标分布 （如数据），构造插值路径：

（线性插值）

学习的向量场 满足常微分方程：

训练损失简化为：

Flow Matching 的核心优势在于：（1）不依赖固定的噪声调度；（2）可以精确计算似然；（3）采样步数可以远少于 DDPM。

1.2 为什么扩散模型适合做规划

传统规划方法（如 A*、RRT）在离散、确定性问题中表现优异，但在高维、随机、部分可观察的序贯决策问题中面临挑战。扩散模型为规划问题带来了以下关键优势：

（1）样本多样性（Sample Diversity）

在规划中，最优轨迹往往不是唯一的。扩散模型通过条件生成，可以从整个解空间 中采样得到多样化的可行轨迹集合。这对于以下场景至关重要：

  • 多解等价性：到达同一目标有无数条路径
  • 探索-利用平衡：多样样本支持更好的探索
  • 人机交互：提供多种方案供人类选择

（2）分布覆盖性（Distribution Coverage）

标准模型预测控制（MPC）依赖于单一的预测模型 ，对模型误差敏感。扩散模型固有的集成性质（每个采样路径对应不同的噪声路径）提供了隐式集成，减少对单一模型准确性的依赖。

（3）非线性奖励/约束的表达能力

现实世界的奖励函数往往是多峰（multimodal）的（如机器人可能选择绕过障碍或翻越障碍）。扩散模型可以自然地建模多峰分布，而基于均值预测的方法（如高斯策略）只能产生单峰分布。

1.3 Planning as Inference：将 MPC 转化为条件采样问题

经典的 MPC 可以表述为如下优化问题：

其中 是规划时域， 是初始状态， 是奖励函数， 是动力学模型。

Planning as Inference 将这个优化问题重新解释为条件生成问题。定义轨迹 ，目标是根据初始状态 和目标 采样轨迹：

将奖励函数转化为能量函数 ，则：

其中 是动力学转移似然（规划轨迹必须满足环境动力学约束）。

关键洞察：在 DDPM 中训练网络 近似 score function ，在规划场景下，只需在推理时用条件 score 引导采样，即可生成满足约束的轨迹。

2. Diffuser（Janner et al., 2022）

论文：Janner, M. D., Du, Y., Tenenbaum, J. B., & Levine, S. (2022). Planning with Diffusion for Flexible Behavior Synthesis. ICML 2022. 核心思想：将轨迹 作为扩散模型的生成对象，条件于初始状态和目标进行条件生成。

2.1 扩散模型用于计划：

Diffuser 的核心思想是将完整的状态-动作轨迹 视为扩散模型的生成对象。给定初始状态 ，学习轨迹分布 。

定义轨迹空间 ，其中 是状态维度， 是动作维度， 是规划时域。

正向扩散过程（在轨迹空间上）：

反向过程用神经网络近似：

在实际实现中， 通常参数化为噪声预测网络 。

2.2 轨迹级扩散：状态动作序列的联合建模

Diffuser 对整个轨迹进行联合建模，而非逐时刻建模状态或动作。这带来了以下优势：

（1）全局一致性（Global Coherence）

自回归方法（Autoregressive）固有的误差累积问题： 的微小误差会导致 的误差，进而导致下一步误差放大。轨迹级扩散通过同时生成所有时刻的 ，天然保证全局一致性。

（2）跨时间步的依赖关系

许多规划问题存在跨时间步的约束（如燃料约束、安全区域约束），联合建模可以自然地捕捉这些依赖，无需显式建模。

轨迹表示的维度问题：

对于高维问题，轨迹维度可能非常大。设 ，，，则 。直接在此高维空间进行扩散会带来计算挑战。

Diffuser 通过以下策略缓解这一问题：

  • 分层扩散（Hierarchical Diffusion）：先在低分辨率轨迹上生成粗略路径，再在局部时间窗口内细化
  • 部分平坦化（Partial Flattening）：对状态和动作分别在不同的时间分辨率上建模

2.3 分类器引导（Classifier Guidance）在计划中的应用

Classifier Guidance（Dhariwal & Nichol, 2021）是扩散模型条件生成的核心技术。在 Diffuser 中，条件信息（如目标状态 ）通过引导的方式注入。

无条件 score 与条件 score 的关系：

设 是无条件的轨迹分布， 是在给定轨迹 下目标 被满足的概率。条件 score 为：

Classifier Guidance 用一个独立的分类器 来近似 ，则在采样过程中：

其中 是引导强度（guidance scale）， 是逆过程方差。 对应无条件生成， 越大生成的轨迹越接近目标。

在规划中的应用：

  • 目标状态约束： 可以是目标状态集（如 “到达位置 ”）
  • 安全约束： 可以表示安全约束的满足（如 “避障”）
  • 任务描述： 可以是语言描述或图像目标

2.4 条件扩散模型：

更一般地，Diffuser 同时以初始状态 和目标 为条件：

具体实现中， 和 通过以下方式注入：

  1. 拼接（Concatenation）：将 和 作为额外的 “token” 拼接到轨迹的对应位置
  2. 交叉注意力（Cross-Attention）：在 U-Net / Transformer 的注意力层中引入条件编码
  3. 自适应归一化（Adaptive Normalization）：如 AdaIN，将条件信息注入生成过程

条件 score 的推导：

第一项由标准的扩散模型近似，第二项由条件目标函数给出。对于确定性的动力学约束 ，有：

𝟙满足动力学约束𝟙匹配𝟙匹配

在实际实现中，动力学约束通常作为硬约束在采样后检查，不满足的轨迹被丢弃或重新采样。

3. Planning with Diffusion 的算法步骤

3.1 轨迹表示：

定义长度为 的轨迹 由状态序列和动作序列交叉组成：

在离散时间系统中，。在连续时间系统中，可以将控制序列 参数化为基函数的线性组合。

扁平化表示（Flattened Representation）：

将轨迹展平为一个长向量：

扩散过程在此 维空间中进行。

时间感知的噪声调度：

在标准 DDPM 中，噪声调度 是固定的。在规划场景中，不同时间步的鲁棒性需求不同：

  • 近端时间步（ 接近 ）：需要精确的动作选择，噪声应较小
  • 远端时间步（ 接近 ）：规划存在不确定性，可以容忍较大噪声

可以通过非均匀的 调度来反映这一直觉，例如：

其中 是时间相关的加权函数。

3.2 反向过程采样与指导

标准反向过程（DDPM采样）：

给定 ，从 到 迭代：

条件引导采样（Classifier Guidance）：

为在 和 的条件下采样，对反向过程每一步的均值进行修正：

其中 是引导系数。当 由神经网络分类器 参数化时：

当 由神经网络分类器 参数化时：

轨迹提取：

采样得到 后，提取动作序列：

其中 是动作空间的投影（如果动作是离散的或受约束的）。

3.3 与 Model Predictive Control（MPC）的关系

古典 MPC：

MPC 通过以下优化问题在每个时间步 选取动作：

其中 和 是学习到的奖励和动力学模型。仅执行 ，然后在 重新规划（replanning）。

扩散 MPC（Diffusion MPC）：

Diffuser 将 MPC 的优化问题转化为条件生成问题：

关键区别在于：

特性古典 MPC扩散 MPC
优化目标单点估计（最优轨迹）分布采样（多样化轨迹）
非凸处理需凸近似或局部搜索扩散过程自然处理多峰分布
约束处理显式惩罚或投影通过引导隐式满足
计算复杂度O( 优化器迭代)O( U-Net 前向传播)

在线规划（Online Planning）：

在实时控制场景中，需要在 时刻迅速得到 。Diffuser 支持以下策略：

  1. 部分采样（Partial Sampling）：扩散规划核心优势是全局联合建模，截断采样会退回自回归误差累积弊端。实际做法是采样完整轨迹但只执行前几步，然后重新规划（replan）。
  2. 蒸馏（Distillation）：将扩散采样蒸馏为一个单步策略网络
  3. 剪枝（Pruning）：在采样过程中剪枝低概率轨迹，保留少数候选路径

4. 软意图引导（Soft Intent Guidance）

4.1 目标条件化与意图空间

意图（Intent） 是比目标（Goal）更抽象的概念。目标通常是确定的状态或状态空间，而意图是关于目标的偏好描述，可以用语言、图像或偏好向量表示。

意图空间（Intent Space） 是所有可能的意图描述的集合。典型的意图空间包括：

  • 语言意图：“向前移动并绕过障碍物” 嵌入到语言模型空间
  • 视觉意图：目标图像 嵌入到视觉编码器空间
  • 偏好向量： 表示用户对不同状态属性的偏好权重

软意图引导指通过意图信息在采样过程中引导轨迹生成，而不强制约束。形式化地：

其中 是意图， 控制引导强度。

4.2 软奖励与硬约束的处理

硬约束（Hard Constraints） 是必须满足的约束，如安全区域、物理限制。在扩散规划中，硬约束通过以下方式处理：

  1. 拒绝采样（Rejection Sampling）：生成轨迹后检查约束，不满足则丢弃
  2. 约束投影（Projection）：将采样轨迹投影到可行集
  3. 无穷小引导（Infinitesimal Guidance）：增大引导系数使约束几乎必然满足

软奖励（Soft Rewards） 是偏好性而非强制性的目标，如 “尽量靠近目标” 而非 “必须在目标点”。软奖励通过 Classifier Guidance 的 参数连续调节：

  • ：无意图引导，完全由数据驱动
  • ：意图引导主导，约束趋近硬约束
  • ：软引导，在满足意图的概率和轨迹多样性之间权衡

数学上，设 是硬约束集合（如 如果 满足所有硬约束）， 是累积奖励。优化的后验分布为：

先验（数据驱动）软奖励𝟙硬约束

当数据分布 由扩散模型建模时，上式可以通过条件采样直接实现。

4.3 多目标规划中的 Pareto 前沿

多目标规划问题涉及同时优化多个可能冲突的目标：

其中 是第 个目标函数。

Pareto 最优性定义：轨迹 是 Pareto 最优的，当且仅当不存在另一轨迹 使得 对所有 成立，且至少有一个严格不等式成立。

扩散模型生成 Pareto 前沿：

Diffuser 可以通过在意图空间中插值来生成 Pareto 前沿上的多个轨迹。设两个极端意图 和 分别代表目标 优化和目标 优化：

通过变化 ，可以生成沿 Pareto 前沿的轨迹集合：

这一性质对于需要人类在多个合法选项中选择的应用场景尤为重要。

5. Decision Transformers vs 扩散规划

5.1 Decision Transformer：自回归建模

Decision Transformer（DT）（Chen et al., 2021）将序列决策问题建模为序列生成问题。给定历史轨迹片段：

DT 通过自回归 Transformer 建模：

其中 是从当前时刻到结束的剩余累计回报， 是历史状态-动作序列。

训练目标是最小化动作预测的交叉熵：

5.2 扩散规划：全局一致性的采样方法

扩散规划通过同时采样完整轨迹 而非逐时刻预测动作，实现全局一致性。这种方法在以下方面与 DT 不同：

维度Decision Transformer扩散规划
生成方式自回归逐时刻预测全局同时采样
误差累积存在（一步错误影响后续）不存在（全局建模）
多样性确定性输出或多峰策略天然多峰采样
长时域依赖通过长上下文注意力建模通过联合建模直接捕获
计算效率高（单步推理）低（需要迭代采样）
在线学习易于增量更新需要重新训练或微调

5.3 两者的优缺点比较

Decision Transformer 的优势：

  1. 推理速度快：单步自回归生成，适合实时控制
  2. 可解释性强：逐时刻决策逻辑清晰
  3. 在线适应：可以通过微调快速适应新任务
  4. 长期记忆：通过注意力机制有效利用长历史信息

Decision Transformer 的劣势：

  1. 误差累积：自回归模型中早期误差会在后期放大
  2. 多峰表达能力有限：均值预测难以覆盖多峰解空间
  3. 规划范围受限：需要预设历史窗口大小

扩散规划的优势：

  1. 全局一致性：联合建模保证跨时间步的一致性
  2. 多峰采样：天然输出多样化轨迹集合
  3. 灵活的约束注入：通过引导机制非侵入式添加约束
  4. 无需显式动力学期望：扩散模型直接学习条件分布

扩散规划的劣势：

  1. 采样速度慢：需要 步迭代（DDPM 通常 ）
  2. 计算成本高：U-Net / Transformer 在高维轨迹空间中的前向传播代价大
  3. 实时性挑战：在高频控制场景中难以部署

融合方向：

两种范式的融合是前沿研究方向：

  • DT-Diffusion 混合：用 DT 提供初始轨迹，用扩散模型 refinement
  • 扩散式决策Transformer：在 Transformer 架构中引入扩散损失
  • 层级规划：DT 负责高层意图规划，扩散模型负责低层轨迹生成

6. 扩散模型的规划应用于控制

6.1 引力增强采样（Gravity-Informed Sampling）

引力增强采样是一类将物理先验注入扩散采样的技术。在机器人控制中，物理规律（如重力、摩擦）是已知的硬约束，可以用来加速采样或提高轨迹质量。

能量函数形式的物理先验：

定义物理能量 ，如：

其中 是高度， 是速度， 是第 个约束力， 是距离函数。

引力增强采样修正 score（物理势能满足力 = −势能梯度）：

这等价于在无条件 score 上添加物理势场的梯度，在采样过程中将轨迹 “拉向” 物理可行的流形。

重力引导采样（Gravity-Guided Sampling） 特别适用于足式机器人和无人机控制：

  • 在足式机器人中，ZMP（Zero Moment Point）约束形成可行站立区域
  • 在无人机中，飞行走廊约束限制了在自由空间中的轨迹

通过将此类物理约束编码为引力场项，可以显著提高采样效率。

6.2 交叉熵方法（CEM）与扩散的融合

交叉熵方法（Cross-Entropy Method, CEM） 是一种基于采样的优化算法，通过维护高斯分布的精英集合来逐步逼近最优解。在每次迭代中：

  1. 从当前分布 采样 个样本
  2. 评估目标函数，选取 top- 精英样本
  3. 用精英样本更新分布参数

CEM 与扩散的融合（Diffusion-CEM）利用 CEM 的精英采样思想来加速扩散采样：

算法：Diffusion-CEM

输入：初始状态 s_0，目标 g，扩散模型 εθ，迭代数 M，引导系数 c
输出：优化轨迹 τ*

1. 初始化噪声分布：μ ← 0, Σ ← I
2. FOR iter = 1 to M DO
3.     采样轨迹噪声：ε_i ~ N(μ, Σ), i = 1, ..., N
4.     生成候选轨迹：τ_i = sampler(ε_i; s_0, g, c)
5.     评估轨迹质量：J_i = J(τ_i)
6.     选取精英轨迹：E = {τ_i | J_i ≥ quantile(J, ρ)}
7.     拟合精英分布：μ, Σ = fit_gaussian(E)
8. END FOR
9. RETURN τ_0 = mean(E) 或 argmax J_i

其中 是精英比例， 是分位数函数。

为什么融合有效：

标准扩散采样的噪声是各向同性的高斯噪声，在高维空间中有效样本比例极低（维度灾难）。CEM 通过逐步拟合目标分布的形状，将采样推向高奖励区域，减少无效采样。

理论分析：

设目标分布 ，其中 是累积奖励。标准采样等价于在 的纯噪声分布上施加分数场驱动的梯度流。CEM 等价于用高斯混合近似 ，在每次迭代中用精英样本重新估计高斯参数。

当 且 时，Diffusion-CEM 的极限分布为：

即收敛到最优轨迹。

6.3 实时规划的可行性分析

实时规划要求在严格的时限内（通常 ms）给出控制决策。扩散规划的计算瓶颈主要在于：

计算瓶颈分析：

操作时间复杂度典型延迟
单步 U-Net 前向传播 ms
DDPM 完整采样（ 步） s
动作提取 ms

加速策略：

  1. 步数减少（Step Reduction）：

    • DDIM 采样将 降至 步，延迟降至 ms
    • Flow Matching 可进一步降至 步

  2. 蒸馏（Distillation）：

    • 将扩散模型蒸馏为单步策略网络
    • 训练损失：
    • 蒸馏后延迟降至 ms

  3. 硬件加速：

    • GPU 并行采样：同时生成多个候选轨迹
    • 专用加速器：Google EdgeTPU、NVIDIA TensorRT

  4. 早停（Early Stopping）：

    • 在采样早期检测低质量轨迹并丢弃
    • 仅保留和精化少量精英轨迹

实时场景下的可行方案：

对于 ms 级别的控制周期，当前可行的方案是：

  • DDIM + 蒸馏（ 步，单步网络）：延迟 ms
  • 部分轨迹采样（只采样前 步）：延迟 ms
  • 预计算+在线调整：离线预计算轨迹库，在线通过意图引导选择和调整

7. 前沿进展

7.1 3D 场景规划（Pointcloud 输入）

3D 感知规划是机器人从仿真走向真实世界的关键能力。传统的 3D 规划方法依赖于明确的地图构建（SLAM），而扩散规划可以直接从点云输入生成可行轨迹。

点云编码的挑战：

点云 是稀疏的、非结构化的。处理点云的常用方法：

  • PointNet 编码：
  • Transformer 编码：通过自注意力建模点间关系
  • 体素化（Voxelization）：将点云转化为 3D 体素网格，利用 3D CNN 处理

3D 场景的扩散规划架构：

点云 P ──→ PointNet/3D CNN ──→ 场景编码 c
                                      │
状态 s_t ──→ 轨迹编码 εθ(τ_t, t) ──→ 联合注意力 ──→ score(τ_t|t)
                                      ↑
                              目标 g 编码

Collision-Free 轨迹生成：

安全规划的核心是避障。设 是障碍物占据的空间，碰撞约束为：

在扩散采样中，通过以下损失强制满足碰撞约束：

其中 是轨迹 到最近障碍物的距离， 是安全裕度。

7.2 安全关键系统的扩散规划

安全关键系统（Safety-Critical Systems）如自动驾驶、医疗机器人，对安全性有极高的要求。扩散规划在安全关键场景中的核心挑战和解决方案：

挑战 1：约束满足的保证

标准扩散采样提供的是 “probabilistic guarantee”（概率保证），但安全关键系统需要 “hard guarantee”（硬保证）。

解决方案：Control Barrier Functions (CBF) + 扩散

CBF 定义了安全集合 的特性函数 ，满足：

CBF 与扩散的正确融合方式：CBF 是修正规划输出的轨迹，而非修改扩散采样的分数/噪声。扩散先生成粗轨迹后，再用 CBF 投影至安全可行域。在采样后处理阶段：

而非直接在反向扩散迭代中融合 CBF 梯度。

挑战 2：分布外（Out-of-Distribution）情况

训练数据中未见过的场景可能导致扩散模型生成不安全轨迹。

解决方案：安全增强训练

在训练数据中人为注入对抗场景，并标注安全/不安全的二值标签。训练安全分类器 ，在推理时：

7.3 扩散模型与 MCTS 结合

蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS） 通过构建搜索树来选择最优动作，核心包含四个步骤：

  1. 选择（Selection）：从根节点出发，选择最优子节点
  2. 扩展（Expansion）：添加新节点
  3. 模拟（Simulation）：从新节点出发随机 rollout
  4. 反向传播（Backpropagation）：更新节点统计数据

扩散增强的 MCTS（Diffusion-Augmented MCTS）：

标准 MCTS 在每个节点需要估计子节点的 Q 值，这通常通过 rollout 或价值网络近似。扩散模型可以提供更准确的局部规划：

算法：Diffusion-Augmented MCTS

输入：状态 s，扩散模型 εθ，预算 B（模拟次数）
输出：最优动作 a*

1. IF s 是叶节点 THEN RETURN None END IF
2. FOR each action a ∈ A(s) DO
3.     假设下一状态 s' = f(s, a)
4.     用扩散模型生成局部轨迹：τ_a ~ p(τ|s, a)  （条件于特定动作）
5.     评估轨迹回报：Q(s, a) ≈ J(τ_a)
6. END FOR
7. 用 UCB 选择动作：a* = argmax_a Q(s, a) + c·√(ln N(s)/N(s, a))
8. RETURN a*

为什么扩散模型增强 MCTS 有效：

  • 局部规划精度：在每个节点用扩散模型做局部 MPC，减少对全局价值函数的依赖
  • 先验指导：用扩散模型的 score 作为 MCTS 的先验策略，优先探索高概率高质量的分支
  • 并行化：扩散采样天然支持批处理，可以在树构建过程中并行生成多个子节点的轨迹

扩散 MCTS 的理论收敛性：

设 是真实的最优 Q 值， 是扩散增强的 Q 估计，则估计误差：

无权值标准误差局部规划误差

由于扩散模型提供的局部规划通常比单步 rollout 更准确，第二项误差显著减小，整体估计精度提升。

参考文献

  1. Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.
  2. Song, Y., et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR.
  3. Lipman, Y., et al. (2022). Flow Matching for Generative Modeling. ICLR.
  4. Janner, M. D., et al. (2022). Planning with Diffusion for Flexible Behavior Synthesis. ICML.
  5. Chen, L., et al. (2021). Decision Transformer: Reinforcement Learning via Sequence Modeling. NeurIPS.
  6. Dhariwal, P., & Nichol, A. (2021). Diffusion Models Beat GANs on Image Synthesis. NeurIPS.
  7. Graves, A., et al. (2023). Stochastic Trajectory Prediction via Motion Indeterminacy Diffusion. CVPR.
  8. Liu, W., et al. (2023). Diffusion Probabilistic Models for Collision-Free Trajectory Planning. IROS.
  9. Ajay, A., et al. (2023). Conditioning Predictive Transformers for Planning. CoRL.
  10. Xia, Y., et al. (2023). Learning to Sample with Cross-Entropy Method in Diffusion Models. NeurIPS.

附录：关键公式汇总

扩散模型前向过程：

逆过程均值（Ho et al.）：

Classifier Guidance（标准形式，无多余方差项）：

Pareto 前沿意图插值：

引力增强 score（力 = −势能梯度）：

Graph View