Huajishe Notes

2-可解释隐变量动力学

11 min read

可解释隐变量动力学 (Interpretable Latent Dynamics)

一句话定位

可解释隐变量动力学专注于从高维观测数据中发现稀疏的因果动态结构，将深度学习的能力与物理解释性结合，以揭示复杂系统背后的因果机制。

前置知识

  • CRL与动力系统结合：状态空间模型、NODE
  • 因果发现：PC算法、得分方法、条件独立性
  • 系统识别：参数估计、模型选择
  • 稀疏性原则：Lasso、稀疏回归

核心直觉

在科学和工程领域，我们经常希望理解支配系统行为的根本规律。例如：

  • 分子系统中的化学反应速率方程
  • 机器人手臂运动的动力学
  • 生态系统中的种群动态

这些系统的特点是：观察可能是复杂的（高维像素、传感器读数），但底层机制通常是简单的（少数变量之间的稀疏因果关系）。

关键洞察：因果结构应该对应于 governing equations。如果我们能发现正确的因果结构，就能用简单的数学方程描述系统的行为。

例如，在物理系统中，因果关系通常对应于能量守恒、动量守恒等物理定律。这些定律是稀疏的——任何一个变量的变化只直接影响少数其他变量。

问题：从高维观测中发现稀疏因果结构是一个联合优化问题：

  1. 降维：从高维观测 提取低维隐状态
  2. 因果发现：确定 之间的因果关系
  3. 动态建模：建立描述 演变的方程

问题形式化

高维观测设置

给定高维观测序列 ，其中 ， 可能很大（如图像的像素数）。

目标是发现：

  1. 低维隐状态 ，
  2. 因果结构 ：描述 之间的因果关系
  3. 动态方程：描述 如何随时间演变

生成过程

其中 是 在因果图中的父节点。

因果结构与物理定律

在物理系统中，因果结构通常对应于：

  • 守恒定律：能量、动量、电荷守恒
  • 作用力-反作用力关系
  • 几何约束：如刚体运动中的约束

这些结构通常是稀疏的，因为物理定律只涉及少数关键变量。

数学框架

稀疏因果发现

假设动态系统是稀疏的，即每个变量只受少数其他变量影响：

其中 是稀疏的（）。

结构方程模型

对于离散时间动态系统：

其中 是稀疏邻接矩阵， 表示 是 的因。

神经ODE用于因果发现

使用神经网络参数化动态：

其中 是 的因果父节点。

稀疏性约束：

这强制动态矩阵 或网络的权重稀疏。

从隐状态到物理方程

一旦学到了隐状态 和动态 ，我们可以用符号回归发现物理解释：

  1. 稀疏回归：找到稀疏系数 使得
  2. 符号回归：用符号表达式逼近动态

训练与估计

两阶段方法

  1. 降维阶段：使用 autoencoder 学习隐状态
  2. 因果发现阶段：使用条件独立性测试或稀疏回归发现因果结构

端到端方法

联合优化降维、因果发现和动态建模：

算法框架

class InterpretableLatentDynamics(nn.Module):
    def __init__(self, dim_x, dim_z):
        self.encoder = Encoder(dim_x, dim_z)
        self.decoder = Decoder(dim_z, dim_x)
        self.dynamics = SparseDynamics(dim_z)  # 稀疏动态网络
 
    def forward(self, x_seq):
        # 编码获得隐状态序列
        z_seq = [self.encoder(x) for x in x_seq]
 
        # 估计动态
        dz_dt = self.dynamics(z_seq)
 
        # 重构观测
        x_recon = [self.decoder(z) for z in z_seq]
 
        return x_recon, z_seq, dz_dt
 
    def sparse_loss(self):
        """稀疏性损失：鼓励稀疏因果结构"""
        return self.dynamics.sparsity()
 
class SparseDynamics(nn.Module):
    def __init__(self, dim_z):
        super().__init__()
        # 动态网络，权重初始化为稀疏
        self.W = nn.Parameter(torch.randn(dim_z, dim_z) * 0.01)
 
    def forward(self, z):
        # 稀疏动态：W是稀疏的
        return z @ self.W
 
    def sparsity(self):
        # L1正则化鼓励稀疏
        return torch.sum(torch.abs(self.W))

因果发现算法

从隐状态序列发现因果结构：

  1. PC算法扩展：

    • 计算条件独立性
    • 构建骨架图
    • 确定方向

  2. 收敛交叉映射 ( CCM )：

    • 用于非线性系统的因果发现
    • 基于状态空间重构

  3. 稀疏动态回归：

    • 假设动态是线性的或多项式
    • 使用 Lasso 选择父节点

推理与干预

状态预测

给定当前状态 ，预测下一状态：

由于因果结构是稀疏的，这涉及计算：

干预预测

在稀疏因果结构下，do 操作的效果更容易预测：

反事实轨迹

给定实际轨迹 和干预 ，计算反事实轨迹：

  1. 从 开始，应用干预
  2. 使用学到的动态继续模拟
  3. 比较实际轨迹和反事实轨迹

优点与局限

优点

  1. 可解释性：稀疏因果结构提供了物理解释
  2. 数据效率：稀疏模型需要更少的训练数据
  3. 泛化能力：稀疏模型更可能在分布转移下泛化
  4. 科学价值：发现的因果结构可能揭示新的物理定律

局限

  1. 模型假设：假设动态是稀疏的可能不总是成立
  2. 非凸优化：联合优化降维和因果发现是困难的
  3. 可辨识性：即使稀疏，也需要额外假设才能辨识因果方向
  4. 计算成本：稀疏结构搜索在计算上昂贵

与其他笔记的联系

  • CRL与动力系统结合：可解释隐变量动力学是时序CRL的具体应用
  • 因果发现：使用因果发现算法发现稀疏结构
  • 稀疏性原则：稀疏性是核心归纳偏置
  • 因果生成模型：动态模型是因果生成模型在时序上的扩展

可重现性笔记

常用数据集

  • Triple spring system：三弹簧系统，解析解已知
  • Double pendulum：双摆系统，混沌动力学
  • Molecular dynamics：分子动力学模拟
  • ** Epidemic models**：流行病模型（如 SIR、SEIR）
  • Lotka-Volterra：捕食者-猎物模型

评估指标

  • MSE：预测误差
  • SHD：因果结构汉明距离（与真实因果图比较）
  • 物理可解释性：发现的方程是否可解释
  • 预测干预效果：反事实预测的准确性

代码框架

# 可解释隐变量动力学的完整流程
class InterpretableLatentDynamics:
    def __init__(self, dim_x, dim_z):
        self.encoder = Encoder(dim_x, dim_z)
        self.decoder = Decoder(dim_z, dim_x)
        self.dynamics = SparseDynamics(dim_z)
 
    def fit(self, x_data, epochs=1000):
        for epoch in epochs:
            # 编码
            z_seq = self.encoder(x_data)
 
            # 计算动态损失
            dz_dt = self.dynamics(z_seq)
            dynamic_loss = self.dynamic_consistency_loss(z_seq, dz_dt)
 
            # 计算重构损失
            x_recon = self.decoder(z_seq)
            recon_loss = F.mse_loss(x_recon, x_data)
 
            # 稀疏性损失
            sparse_loss = self.dynamics.sparsity()
 
            total_loss = recon_loss + alpha * dynamic_loss + beta * sparse_loss
            total_loss.backward()
            optimizer.step()
 
        return self
 
    def discover_causal_structure(self):
        """从学到的动态中发现因果结构"""
        W = self.dynamics.W.detach().numpy()
        # W_ij != 0 表示 z_j -> z_i
        return W

符号回归接口

from sympy import symbols, simplify
 
def interpret_dynamics(z_dim, dz_dt, z_names=None):
    """将学到的动态转换为符号表达式"""
    equations = []
    for i in range(z_dim):
        name = z_names[i] if z_names else f"z_{i}"
        # 使用稀疏回归或符号回归
        eq = fit_symbolic_expression(dz_dt[:, i], z)
        equations.append(f"d{name}/dt = {eq}")
    return equations

章节总结

  • 可解释隐变量动力学旨在从高维观测中发现稀疏因果结构
  • 物理系统中的因果结构对应于 governing equations
  • 因果发现与系统识别既有联系又有区别
  • 神经 ODE 可用于从数据中发现因果动态
  • 稀疏性约束在物理系统中尤为重要
  • 从高维观测到低维因果表示需要降维和因果发现联合
  • 稀疏因果结构更可能对应真实的物理机制
  • 评估需要因果准确性和物理可解释性的双重标准
  • 在科学计算中因果发现的可靠性和可验证性很重要
  • 未来方向：自动发现物理定律、自动机械系统建模

关键词

interpretable latent dynamics, causal discovery, dynamical systems, sparsity, governing equations, system identification, neural ODE, sparse regression, symbolic regression, physical laws, causal structure

Graph View