【转载】贝叶斯网络简介

【转载】贝叶斯网络简介  

2014-06-21 21:24:05|  分类： 默认分类|字号 订阅

本文转载自zzz《贝叶斯网络简介》

•        贝叶斯网络是为了处理人工智能研究中的不确定性(uncertainty)问题而发展起来的。贝叶斯网络是将概率统计应用于复杂领域进行不确定性推理和数据分析的工具。 BN是一种系统地描述随即变量之间关系的工具。建立BN的目的主要是进行概率推理(probabilistic inference)。 用概率论处理不确定性的主要优点是保证推理结果的正确性。

为什么要用贝叶斯网络进行概率推理？

•       理论上，进行概率推理所需要的只是一个联合概率分布。但是联合概率分布的复杂度相对于变量个数成指数增长，所以当变量众多时不可行。
•  
• 贝叶斯网络的提出就是要解决这个问题。它把复杂的联合概率分布分解成一系列相对简单的模块，从而大大降低知识获取和概率推理的复杂度，使得可以把概率论应用于大型问题。
• 统计学、系统工程、信息论以及模式识别等学科中贝叶斯网络特里的多元概率模型：朴素贝叶斯模型，隐类模型，混合模型，隐马尔科夫模型，卡尔曼滤波器等。
• 动态贝叶斯网络主要用于对多维离散时间序列的监控和预测。
• 多层隐类模型，能够揭示观测变量背后的隐结构。

 

概率论基础： 贝叶斯网络所依赖的一个核心概念是条件独立，Conditional Independence

 1、基本概念

 

 

 

 

 2、图分割与变量独立

• 图分割，有向分割（d-separate,d-分割）

  变量X和Y通过第三个变量Z间接相连的三种情况：

    

  阻塞(block)

  设Z为一节点集合，X和Y是不在Z中的两个节点。考虑X和Y之间的一条通路。如果满足下面条件之一，则称被Z所阻塞：

  1．有一个在Z中的顺连节点；

  2．有一个在Z中的分连节点

  3． 有一个汇连节点W，它和它的后代节点均不在Z中。

  

   

  如果X和Y之间的所有通路都被Z阻塞，则说Z有向分割(directed separate)X和Y，简称d-separate,d-分割。那么X和Y在给定Z时条件独立。

  定理（整体马尔科夫性）设X和Y为贝叶斯网N中的两个变量，Z为N中一个不包含X和Y的节点集合。如果Z d-分割X和Y，那么X和Y在给定Z时条件独立，即 

  d-分割是图论的概念，而条件独立是概率论的概念，所以定理揭示了贝叶斯网络图论侧面和概率论侧面之间的关系。 

 

3、 马尔科夫边界与端正图

马尔科夫边界：在贝叶斯网络中，一个节点X的马尔科夫边界(Markov boundary)包括其父节点、子节点、以及子节点的父节点。

端正图(Moral graph): 设G为一有向无环图，如果将G中每个节点的不同父节点结合，即在他们之间加一条边，然后去掉所有边的方向，所得到的无向图成为G的端正图。

 

4、贝叶斯网络推理(Inference)

         贝叶斯络可以利用变量间的条件独立对联合分布进行分解，降低参数个数。推理(inference)是通过计算来回答查询的过程。

 

贝叶斯网络推理(Inference)

1 变量消元算法(Variable elimination)

利用概率分解降低推理复杂度。

@ 使得运算局部化。消元过程实质上就是一个边缘化的过程。

@ 最优消元顺序：最大势搜索，最小缺边搜索

2. 团树传播算法

• 利用步骤共享来加快推理的算法。
• 团树（clique tree）是一种无向树，其中每一个节点代表一个变量集合，称为团(clique)。团树必须满足变量连通性，即包含同一变量的所有团所导出的子图必须是连通的。

 

•  
•  
•  
•  
•  
•  
•  
•  
• 用团树组织变量消元的算法。计算共享
• 团树传播算法基本步骤：
• 将贝叶斯网络转化为团树
• 团树初始化
• 在团树中选一个团作为枢纽
• 全局概率传播：CollectMessage; DistributeMessage
• 边缘化，归一化

   

  

  团树传播算法示例 （[TLR]是枢纽节点）

  F变量消元和团树传播算法都是精确推理算法。