Diffusion Policy 精读笔记

Chi, C., Feng, S., Du, Y., Xu, Z., Cousineau, E., Burchfiel, B., & Song, S. (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS 2023.

核心思想

Diffusion Policy 将机器人策略学习建模为条件去噪扩散过程：给定观测（图像 + 机器人状态），通过迭代去噪从高斯噪声中生成动作序列，而非直接回归单步动作。

$$\pi_\theta(A_t | O_t): \quad A_t^K \sim \mathcal{N}(0, I) \xrightarrow{\text{denoise } K \text{ steps}} A_t^0$$

其中 $O_t$ 是观测条件，$A_t$ 是预测的动作序列（通常包含未来多步动作）。

为什么用扩散模型做策略

传统 behavior cloning 面临两个核心困难：

1. 多模态动作分布：人类示范数据中，同一观测可能对应多种合理动作（如绕障碍物可以走左边或右边）。回归到均值会产生无意义的折中动作。
2. 高维动作空间：扩散模型天然擅长在高维空间中建模复杂分布。

扩散模型的迭代去噪过程能逐步精化动作，自然处理多模态问题，而无需像 GMM 或 VAE 那样预设模态数量。

关键设计

动作序列预测 (Action Chunking)

不预测单步动作，而是一次生成未来 $T_a$ 步的动作序列。好处：

• 时间一致性：避免逐帧预测导致的抖动
• 抑制累积误差：以开环方式执行多步
• 与 receding horizon control 的思想一致

观测历史

使用过去 $T_o$ 步的观测作为条件（而非仅当前帧），提供速度/加速度等隐含信息。

两种网络架构

	CNN-based (1D temporal CNN)	Transformer-based (DDPM-style)
条件注入方式	FiLM conditioning	cross-attention
优势	训练更稳定	在复杂任务上天花板更高
参数量	较小	较大

论文发现 CNN 架构在多数基准任务上表现更一致。

核心结果

• 在 11 个任务的基准测试中，Diffusion Policy 相比 LSTM-GMM、IBC、BET 等方法平均提升 46.9%
• 在真实机器人实验（推T形块、酱汁涂抹等）中成功率显著高于基线
• 证明了扩散模型的表达能力在 visuomotor policy learning 中的优势

与其他方法的关系

• 与 behavior cloning 相比：从确定性/简单分布回归升级为完整的条件分布建模
• 与 DDPM 共享去噪扩散框架，但条件变量是机器人观测而非类别标签
• 与 ACT (Action Chunking with Transformers) 思路相似，都使用动作序列预测，但 ACT 用 CVAE 建模分布
• 后续工作 3D Diffusion Policy 将观测从 2D 图像扩展到 3D 点云表示