> For the complete documentation index, see [llms.txt](https://chenjunren.gitbook.io/read-the-beauty-of-mathematics/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://chenjunren.gitbook.io/read-the-beauty-of-mathematics/di-24-zhang-ma-er-ke-fu-lian-de-kuo-zhan-bei-ye-si-wang-luo.md).

# 第 24 章 马尔科夫链的扩展——贝叶斯网络

## 贝叶斯网络

由于网络中，每个节点的概率都可以用贝叶斯公式来计算，因此得名贝叶斯网络。马尔科夫假设保证了贝叶斯网络便于计算，即网络中的每个状态取决于前面有限个状态，但贝叶斯网络的拓扑结构比马尔可夫链灵活，不受其链状结构的约束。即马尔科夫链是贝叶斯网络的特例，而贝叶斯网络是马尔科夫链的推广。贝叶斯网络是一个加权的有向图。

贝叶斯网络有很多节点（状态），节点之间通过有向弧连接，各个节点之间的相互转化可能存在一定的概率。

## 贝叶斯网络的训练

首先确定贝叶斯网络的**结构**。优化的贝叶斯结构要保证其产生的序列可能性最大即后验概率最大。理论上需要考虑每一天路径，计算复杂度无法实现。一般采用贪心算法（Greedy Algorithm）即在每一步方向寻找有限步，缺点是会陷入局部最优，最终远离全局最优解。可以采用蒙特卡洛（Monte Carlo）的方法，找许多随机数在贝叶斯网络中检测是否陷入局部最优，但其计算量较大。还有一个新方法是计算网络中节点之间两两的互信息，保留互信息较大的节点直接的链接，然后对简化的网络进行完备的搜索，找到全局优化的结构。

然后，要通过**参数训练**确定这些节点之间的弧的权重（参考前面提到的EM过程）。实际上，结构的训练和参数的训练是交替进行、不断优化的，直至得到收敛或者误差较小的模型。

## 小结

从数学层面讲，贝叶斯网络就是一个加权的有向图，是马尔科夫链的扩展。