模块六：流形几何与流模型视角的扩展

前述模块中，无论是 EM 算法的参数空间，还是 HMM/DMM 的隐状态空间，我们均隐含假设它们存在于平坦的欧几里得空间 $\mathbb{R}^d$ 中。然而，现实世界中的数据（如图像流形、机器人姿态、分子结构）常自然地存在于弯曲的流形之上。现代理论通过引入微分几何与流模型，正在突破传统欧氏假设的桎梏。

6.1 欧氏假设的局限与流形上的 EM

传统 EM 的 M 步在更新参数时，本质上是在欧氏空间中寻找使期望似然最大化的点。以高斯混合模型为例，均值参数 $\boldsymbol{\mu}_k$ 的更新公式 (9) 是对数据点求欧氏加权平均。如果数据位于一个严格弯曲的流形 $\mathcal{M}$ 上（例如球面），两点间的欧氏平均 $\frac{1}{2}(\mathbf{x}_1 + \mathbf{x}_2)$ 往往会脱离流形表面（即"流形漂移"），导致概率密度无定义或原型失真。

流形上的 EM 要求参数与隐变量始终被约束在流形 $\mathcal{M}$ 上。设参数 $\theta \in \mathcal{M}$，此时 M 步的目标函数 $Q(\theta, \theta^{\text{old}})$ 是流形上的函数。为执行最大化，需使用黎曼梯度。设 $\nabla Q$ 为 $Q$ 在环境欧氏空间中的普通梯度，流形在 $\theta$ 处的切空间记作 $T_\theta \mathcal{M}$，投影算子为 $P_{T_\theta \mathcal{M}}$。黎曼梯度定义为：

$$ \text{grad}\, Q(\theta) = P_{T_\theta \mathcal{M}} \bigl( \nabla Q(\theta) \bigr). \tag{37} $$

参数更新不再使用欧氏加法，而是使用指数映射 $\text{Exp}_\theta: T_\theta \mathcal{M} \to \mathcal{M}$，以保证更新后的参数仍在流形上：

$$ \theta^{(t+1)} = \text{Exp}_{\theta^{(t)}} \bigl( \eta \cdot \text{grad}\, Q(\theta^{(t)}) \bigr). \tag{38} $$

从数学推导上看，指数映射保证了在切空间中沿直线移动等价于在流形表面沿测地线移动。然而，在 E 步计算后验期望时，若隐变量 $\mathbf{Z}$ 也在流形上，传统的算术期望不再适用，需代之以弗雷歇期望（Fréchet Mean）：

$$ \mathbb{E}_q[\mathbf{Z}] \to \arg\min_{\mu \in \mathcal{M}} \mathbb{E}_{q}[d^2(\mu, \mathbf{Z})], $$

其中 $d(\cdot, \cdot)$ 为流形上的测地距离。这通常没有解析解，需通过梯度下降在流形上迭代求解，计算代价极高。

6.2 流模型参数化复杂后验

为了解决流形上后验推断的困难，并增强变分推断的表达能力，归一化流被引入到 EM 框架中。归一化流通过一系列可微且可逆的变换 $f_\phi$，将简单的基础分布 $p(\mathbf{u})$ 映射为复杂的目标分布 $q_\phi(\mathbf{z})$。设 $\mathbf{z} = f_\phi(\mathbf{u})$，根据变量替换定理，复密度函数为：

$$ \begin{aligned} q_\phi(\mathbf{z}) &= p(\mathbf{u}) \left| \det \frac{\partial f_\phi^{-1}}{\partial \mathbf{z}} \right| \\ &= p\bigl(f_\phi^{-1}(\mathbf{z})\bigr) \left| \det J_{f_\phi^{-1}}(\mathbf{z}) \right|. \end{aligned} \tag{39} $$

若变换由 $K$ 个串联的映射组成 $\mathbf{z}_K = f_K \circ \dots \circ f_1(\mathbf{u})$，根据链式法则，其对数密度可递推展开为：

$$ \log q_\phi(\mathbf{z}_K) = \log p(\mathbf{u}) - \sum_{k=1}^K \log \left| \det \frac{\partial f_k(\mathbf{z}_{k-1})}{\partial \mathbf{z}_{k-1}} \right|. \tag{40} $$

在变分 EM 的 E 步中，我们可以使用流模型参数化 $q_\phi(\mathbf{Z} \mid \mathbf{X})$。此时，ELBO 变为：

$$ \begin{aligned} \mathcal{F}(\phi, \theta) = \mathbb{E}_{p(\mathbf{u})} \biggl[ & \log p_\theta\bigl(\mathbf{X}, f_\phi(\mathbf{u})\bigr) \\ & - \log p(\mathbf{u}) - \log \left| \det J_{f_\phi}(\mathbf{u}) \right| \biggr]. \end{aligned} \tag{41} $$

由于期望是在简单分布 $p(\mathbf{u})$ 下进行的，梯度可以轻易通过蒙特卡洛采样结合重参数化技巧进行估计。流模型强大的表达能力使得 $q_\phi$ 能够逼近高度多模态的真实后验。

6.3 流形上的状态空间模型与神经流

对于序列模型，将 HMM 的离散状态推广为流形上的连续状态是现代生成模型的前沿。设隐状态 $\mathbf{z}_t \in \mathcal{M}$。传统的线性高斯模型需被推广为流形上的随机微分方程（SDE）。使用神经 ODE/SDE 定义转移核：

$$ \frac{d\mathbf{z}(t)}{dt} = v_\theta(\mathbf{z}(t), t), \tag{42} $$

其中向量场 $v_\theta$ 由神经网络参数化，且始终在切空间内（$v_\theta(\mathbf{z}, t) \in T_\mathbf{z} \mathcal{M}$）。

由于此类非线性流形 SDE 的前向-后向推断没有解析解，现代方法通常采用伴随状态法。在 EM 框架下，E 步需要求解伴随 ODE 以获取边缘后验的梯度：

$$ \frac{d\mathbf{a}(t)}{dt} = -\mathbf{a}(t)^\top \frac{\partial v_\theta(\mathbf{z}(t), t)}{\partial \mathbf{z}(t)}, \tag{43} $$

其中 $\mathbf{a}(t)$ 为伴随状态。M 步则通过反向传播更新参数 $\theta$。通过流模型的视角，我们不仅统一了连续状态空间模型，还获得了解析处理弯曲数据几何的能力，构成了一幅从离散到连续、从欧氏到流形、从精确解析到可微近似的完整数学画卷。

结语

从 Jensen 不等式出发建立 ELBO 与 EM，从因子图引出消息传递与 HMM，从自动微分看到经典算法如何融入现代深度学习，再到流形几何与流模型对欧氏假设的突破——整套逻辑揭示了经典概率建模与当代神经网络之间内在的统一性。扎实掌握这些底层数学原理，是理解、应用乃至改进各类复杂生成模型与序列推断系统的可靠根基。

上一节序列模型结构分析 下一节附录A：ELBO推导与EM单调性