世界模型与 RAP：LLM 作为推理代理

一、世界模型核心范式与 LLM 研究主线

世界模型两大核心范式

范式 1：状态转移规划模拟器

把模型当作状态预测器，输入当前状态+执行动作，预测下一状态，多用于逻辑推理、任务规划、思维搜索：

范式 2：环境动力学模型

侧重长时序未来状态预判，适配机器人控制、视频生成、游戏博弈等物理/真实环境场景：

LLM 研究核心方向：依托世界模型能力，让大模型模仿真实世界交互逻辑，完成推理探索、自主规划与路径搜索。

1.1 状态转移/规划模拟器

核心思想：

将 LLM 看作一个世界状态预测器——给定当前状态和行动，预测下一个状态。

数学表示：

其中：

：当前世界状态
：行动
：由 LLM 参数化的状态转移函数

应用场景：

推理任务：将推理步骤视为”行动”，将状态视为”推理进展”
规划任务：将子目标视为”状态”，将行动视为”规划步骤”
MCTS 搜索：在推理树中进行搜索

1.2 环境动力学模型

核心思想：

在 embodied AI、机器人、视频生成等场景中，学习一个能够预测未来状态的模型。

数学表示：

应用场景：

机器人控制：预测动作后的物理状态
视频生成：预测未来帧
游戏 AI：预测对手响应

1.3 从 LLM 主线看世界模型

本笔记的关注点：

从 LLM 的角度，世界模型的核心问题是：

如何让 LLM 在推理/规划任务中，像在真实世界中行动一样，进行搜索、探索和规划？

关键论文：

RAP（Reasoning with AlphaProof）：将 LLM 作为推理世界中的”Agent”，使用 MCTS 搜索推理树

二、RAP 的核心思想

2.1 核心洞察

RAP 全称：基于 AlphaProof 思路的推理搜索框架。

核心本质：把 LLM 充当推理领域的世界模型，嫁接 MCTS 蒙特卡洛树搜索做推理路径寻优。

推理场景映射：

推理进展 → 博弈状态
推理步骤 → 博弈行动
逻辑规则 → 隐式环境规则

核心优势：摆脱 CoT 单条线性推理无法回溯的缺陷，具备探索、择优、回溯纠错能力。

关键观察：

在推理问题中，“世界状态”是推理的当前进展，“行动”是推理步骤，状态转移是执行推理步骤后得到的新状态。

与传统 MCTS 的区别：

传统 MCTS	RAP
游戏状态	推理状态
游戏规则	推理规则（由 LLM 隐式编码）
评估函数	LLM 自己判断进展
叶子节点评估	证明成功/失败判定

2.2 推理问题的形式化

定义（推理问题）：

给定问题，目标是找到一个有效的推理序列，使得：

其中是推理状态，是推理行动（步骤），表示”可以执行”。

RAP 推理问题标准化定义：

要素	定义
推理状态	包含原始问题、当前推导进度、已验证证据
推理目标	通过一步步推理行动，最终达成问题求解终态
LLM世界模型假设	大模型依靠预训练知识，隐式掌握推理逻辑规则，能自主完成状态推演、行动生成、状态优劣评判

状态表示：

其中：

：原始问题
：当前的推理进展
：已有的证据和中间结论

2.3 LLM 作为世界模型

定理（LLM 世界模型假设）：

LLM 隐式地编码了推理世界的转移规则：

即给定当前状态和行动，LLM 能够预测执行后的新状态。

物理意义：

这意味着 LLM 能够：

判断给定的行动是否可以在当前状态执行
预测执行行动后的新状态
评估当前状态是否已达到目标

三、MCTS 搜索框架

3.1 Monte Carlo Tree Search 基础

MCTS 的核心循环：

while time_budget:
    1. Selection: 从根节点开始，选择最优子节点直到叶子
    2. Expansion: 扩展一个或多个子节点
    3. Simulation: 从新节点开始随机 rollout 直到终局
    4. Backpropagation: 将结果反向传播更新统计量

RAP 定制化 MCTS 四阶段循环：

阶段	核心操作	说明
1. 选择（Selection）	UCB 置信上界公式	平衡探索与利用，优先挑选高价值、高探索潜力的推理节点
2. 扩展（Expansion）	LLM 批量生成候选推理步骤	基于当前推理状态，作为子节点批量展开
3. 模拟推演（Simulation）	快速续写推理至终局	从新节点继续推演，直达可判定结果的终局
4. 反向传播（Backpropagation）	推演结果从叶子向上回传	更新整条路径的价值与访问统计

UCB（Upper Confidence Bound）选择：

其中：

：状态-行动值函数
：状态的访问次数
：状态-行动对的访问次数
：探索常数

3.2 RAP 中的 MCTS 定制

状态节点：

每个节点存储：

：推理状态
：访问次数
：平均价值
：行动的先验概率

行动空间：

在推理任务中，行动空间是 LLM 可能的输出（推理步骤）：

3.3 价值评估

定义（叶子节点评估）：

对于叶子节点，使用以下方式评估：

LLM_eval 函数：

让 LLM 评估当前状态是否”有希望”： $评估：这个推理是否在正确轨道上？$

RAP 配套评估规则：

状态类型	价值记分	说明
确定解出	1	推理完成，答案正确
确定无解/逻辑错误	0	推理链路走不通
中间未定状态	LLM 自主评判 0~1	由 LLM 输出前景分值

3.4 RAP 的算法流程

Algorithm: RAP (Reasoning with AlphaProof)

输入：问题 x，时间预算 T
输出：推理轨迹或"未解决"

# 初始化
root = Node(s = initial_state(x))
policy = LLM_policy  # 用于生成候选行动
evaluator = LLM_eval  # 用于评估状态

for t = 1 to T:
    # 1. Selection: 使用 UCB 选择路径直到未扩展节点
    node = root
    while node.is_expanded:
        node = UCB_select(node)

    # 2. Expansion: 使用 LLM 生成候选行动
    candidate_actions = policy(s(node))
    for a in candidate_actions:
        child = Node(s = f(s(node), a), parent=node)
        node.add_child(child)

    # 3. Simulation: 随机选择一个子节点 rollout
    if candidate_actions not empty:
        child = random_sample(candidate_actions)
        rollout_result = rollout(child)

    # 4. Backpropagation: 更新所有祖先节点的价值
    update_values(root, rollout_result)

    # 5. 检查是否找到解
    if node.is_terminal and node.is_solved:
        return extract_solution(node)

return "未在时间预算内解决"

四、世界模型在推理中的作用

4.1 状态评估

LLM 作为评估器：

给定推理状态，LLM 可以评估：

可达性：从当前状态能否到达目标？
正确性：当前推理步骤是否正确？
前景：继续当前方向是否有希望？

数学表示：

$有希望$

4.2 行动生成

LLM 作为策略：

给定当前状态，LLM 生成候选行动（推理步骤）：

候选行动的多样性：

使用 temperature 采样生成多个候选：

4.3 状态转移

执行行动得到新状态：

注意：状态转移函数由 LLM 隐式定义，不是显式学习的。

五、与其他推理方法的对比

5.1 与 CoT 的对比

维度	CoT	RAP
推理结构	固定链式	搜索树
回溯	无	有
探索方式	单路径	树搜索
评估	无显式评估	显式状态评估
计算成本

5.2 与 ToT 的对比

维度	ToT	RAP
搜索算法	任意（可 BFS/DFS）	MCTS
价值评估	启发式评估	学习评估
探索利用平衡	手动调参	UCB 自适应
统计量利用	无	反向传播统计

5.3 与 AlphaZero 的对比

维度	AlphaZero	RAP
游戏规则	已知	由 LLM 隐式编码
价值网络	单独训练	LLM 评估
策略网络	单独训练	LLM 生成
搜索	MCTS	MCTS
应用	游戏（围棋等）	推理任务

六、训练过程与问题

6.1 离线训练

LLM 预训练：

LLM 在大规模文本上预训练，学习推理规则和世界知识。

状态转移学习：

通过 next token prediction，隐式学习状态转移：

6.2 在线微调

成功轨迹的正则化：

当 MCTS 找到成功路径时，使用成功轨迹微调 LLM：

6.3 训练中的问题

问题 1：状态推演存在不确定性

LLM 预测的状态转移可能不确定或错误。

核心痛点：LLM 容易生成错误推理步骤，导致路径跑偏。

解决方案：

使用多个采样轨迹
对状态转移的不确定性建模
只使用高置信度的转移

问题 2：推理空间庞大

探索过度浪费算力，过度利用容易陷入局部最优解。

核心痛点：长链推理下，LLM 自身评判能力不足，容易误判无效推理路径。

解决方案：

使用 UCB 自适应平衡探索与利用
课程学习（从简单到复杂）
经验回放（优先采样有希望的路径）

6.4 收敛性分析

定理（搜索收敛）：

随着搜索时间和探索常数的适当衰减，MCTS 收敛到最优策略：

证明：基于 MCTS 的标准收敛性理论。

七、数学公式速查

7.1 世界模型公式

状态转移：

状态评估： $有希望$

7.2 MCTS 公式

UCB 选择：

价值回传：

7.3 推理问题公式

推理状态：

目标达成：

八、总结

世界模型的核心洞察：

LLM 可以被视为一个”推理世界模型”——它隐式地编码了推理状态之间的转移规则，可以用于在推理空间中进行 MCTS 搜索。

RAP 的贡献：

将 MCTS 框架应用于 LLM 推理
利用 LLM 作为状态评估器和行动生成器
通过搜索找到比单纯 CoT 更好的推理路径

与其他方法的关系：

方法	核心思想	搜索结构
CoT	显式推理链	链式
ToT	搜索树	树
RAP	MCTS + LLM 世界模型	MCTS 树
AlphaZero	MCTS + 神经网络	MCTS 树

核心公式：

状态转移：
UCB 选择：
价值评估： $有希望$

延伸阅读：

Silver et al., “AlphaZero” (Science 2017) — AlphaZero 基础
Silver et al., “Mastering the Game of Go without Human Knowledge” (Nature 2017)
Yao et al., “Think before I Act: Large Language Models for Planning and Robotics” (2023)
Liu et al., “Towards Closed-Loop Agent in LLM-based RL” (2024)
Hu et al., “RAP: Reasoning with AlphaProof” (2024)

Huajishe Notes

Explorer

4-世界模型与 RAP：LLM 作为推理代理

世界模型与 RAP：LLM 作为推理代理

一、世界模型核心范式与 LLM 研究主线

世界模型两大核心范式

1.1 状态转移/规划模拟器

1.2 环境动力学模型

1.3 从 LLM 主线看世界模型

二、RAP 的核心思想

2.1 核心洞察

2.2 推理问题的形式化

2.3 LLM 作为世界模型

三、MCTS 搜索框架

3.1 Monte Carlo Tree Search 基础

3.2 RAP 中的 MCTS 定制

3.3 价值评估

3.4 RAP 的算法流程

四、世界模型在推理中的作用

4.1 状态评估

4.2 行动生成

4.3 状态转移

五、与其他推理方法的对比

5.1 与 CoT 的对比

5.2 与 ToT 的对比

5.3 与 AlphaZero 的对比

六、训练过程与问题

6.1 离线训练

6.2 在线微调

6.3 训练中的问题

6.4 收敛性分析

七、数学公式速查

7.1 世界模型公式

7.2 MCTS 公式

7.3 推理问题公式

八、总结

Graph View

Table of Contents