多智能体强化学习
1. 多智能体强化学习基础
1.1 博弈论基础
1.1.1 正常形博弈（Normal-Form Game）
定义 1.1（正常形博弈） 一个
其中：
为智能体集合 为联合动作空间 为收益函数向量
1.1.2 纳什均衡（Nash Equilibrium）
定义 1.5（纳什均衡） 混合策略组合
定理 1.1（纳什存在性，Nash 1950） 任意有限正常形博弈至少存在一个混合策略纳什均衡。
1.2 Dec-POMDP 形式化
定义 1.8（Dec-POMDP） Decentralized Partially Observable Markov Decision Process 定义为元组：
2. 值函数分解方法
2.1 VDN：值分解网络
VDN (Sunehag et al., 2017) 假设联合价值函数可分解为各智能体价值函数的线性求和：
2.2 QMIX：单调性约束分解
QMIX (Rashish et al., 2018) 引入混合网络（Mixing Network）以建模非线性分解：
单调性约束：
2.3 QTRAN：一般化值函数分解
QTRAN 将值函数分解形式化为约束优化问题，包含一致性约束和最优性约束。
3. 策略梯度方法
3.1 MADDPG：多智能体 DDPG
MADDPG 的核心设计：中心化 Critic 访问全局状态，去中心化 Actor 仅基于局部观测。
中心化 Critic：
去中心化 Actor：
3.2 MAPPO：多智能体 PPO
MAPPO (Yu et al., 2022) 将 PPO 扩展到多智能体设置，沿用中心化 Critic + 去中心化 Actor 范式。
4. 均值场博弈
4.1 大量智能体的近似
当智能体数量
定义 4.1（均值场）：
4.2 离散时间均值场 Q 学习
均值场 Q 函数：
5. 通信与协作
5.1 通信协议学习
CommNet (Foerster et al., 2016) 使用连续通信：
5.2 协作激励机制
内在动机（Intrinsic Curiosity Incentive）：
6. 对抗多智能体
6.1 零和博弈中的多智能体
极小极大 Q 函数：
6.2 对抗性 RL
对抗扰动攻击：
7. 收敛性与理论
7.1 Marlin 算法的收敛性分析
定理 7.1（Marlin 收敛性） 在满足以下条件时，Marlin 算法收敛至纳什均衡：
- 单调性：值函数估计单调递增
- 有界性：
- 探索充分性：每个智能体以概率
探索所有动作
8. 总结与前沿方向
8.1 方法对比
| 方法 | 分解结构 | 通信需求 | 收敛保证 | 适用范围 |
|---|---|---|---|---|
| VDN | 线性加和 | 无 | 仅团队游戏 | 小规模协作 |
| QMIX | 单调混合 | 无 | 仅团队游戏 | 中等规模协作 |
| QTRAN | 一般分解 | 无 | 部分 | 一般和博弈 |
| MADDPG | 中心化 Critic | 可选 | 无 | 协作/竞争 |
| MAPPO | 中心化 Critic | 可选 | 无 | 协作/竞争 |
| MFQ | 均值场近似 | 无 | 大规模系统 |
8.2 前沿研究方向
- 鲁棒 MARL：对抗扰动下的稳健策略学习
- 通信可信性：可验证的通信协议
- 层次化 MARL：多尺度协作与竞争
- 离线 MARL：基于历史数据的多智能体策略学习
- 元 MARL：快速适应新任务的多智能体系统
参考文献
- Zhang, K., Yang, Z., & Başar, T. (2021). Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms.
- Sunehag, P., et al. (2017). Value Decomposition Networks. AAAI.
- Rashid, T., et al. (2018). QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent RL. ICML.
- Lowe, R., et al. (2017). Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments. NeurIPS.
- Yang, Y., et al. (2020). Mean Field Multi-Agent Reinforcement Learning. ICML.