概率图模型-原理与技术 更新计划及总目录

    作为一个爱做习题的旁听生，“升级后提交”这几个字真是让我心碎

近阶段学习感想

　　从在coursera上发现概率图模型这门课起，到现在也零零碎碎看了不少时间。学习一门课程介绍上写着Advanced的课程，公开课上视频讲的太过简略，看完总觉得似懂非懂，于是有了买配套书的想法。起初我对买一本定价100多大洋的教材是拒绝的，但是由于需求迫切，终于下定决心在一次我老妈打牌赢了不少钱的时候让她帮我买了这门《概率图模型》。

　　书的内容比视频丰富很多，看起来也十分费劲(倒不是说翻译的有问题，毕竟一个专业团队以及无数外援5年出来的结果，如果我看不懂那么肯定是我理解有问题)。书中定义，定理，命题，符号一大堆，看书时真有看了后面忘了前面，看到个符号又忘记这个符号是什么的情况，果然是比西瓜书这种入门书难上很多。

　　现在的进度是已经看完coursera上第一部分：表示的视频，而书本才刚刚看完第四章。虽然进度不多，但是确实发现以前的概率知识真是停留在表层：
一个很明显的例子就是在做coursera上第一章的编程作业时，我会对这些概率分布表有的总和为1，有的总和大于1感到疑惑，这是怎么搞的？而当我想明白的时候，才发现这原来是很基本的概念，因为他们有的是联合分布，有的是条件概率分布，真不好意思说自己是学过概率的人–。同时忽然发现自己编程作业一的问题，为什么我的求联合分布的函数始终不能得分。由于根据边缘分布与条件分布求出的联合分布是已经归一化的结果，而我没意识到，又对他们做了一次归一化，这在理论上没问题，但是由于浮点数的精度问题，当联合分布表很大的时候，会产生一定的误差。这也就是为什么只能通过已经给的小测试用例(只有6项)，却无法通过网上的大测试用例。
　　另一个便是在西瓜书中已经学过的朴素贝叶斯分类器，当时的学习仅仅停留在朴素贝叶斯分类器到底怎么算与编程，但是为什么要这么算呢？我当时记住的是朴素贝叶斯就是独立性假设，它假设了所有属性是独立的。现在才仔细看到，原来是条件独立性假设，在已知分类时，样本的属性相互独立。我还特意去翻了下西瓜书，上面也是这么写的，但我当时并没有去注意这些细节。当初看书其实也是有过疑问的，那就是为什么朴素贝叶斯的贝叶斯网是分类节点y指向各个属性节点xi？难道不是通过样本属性xi去推出分类y吗？

　　现在才明白这两点并不矛盾，分类器是要通过样本属性xi去推出分类y，即最终是要求P(y|X)的概率分布。上图其实只是朴素贝叶斯分类器的结构，而不是在说明他如何去分类。将分类节点y作为所有属性的父节点，那么任意两个属性与y将组成同父结构，即在已知y的情况下，他们会相互独立。所以之后的步骤会是统计输入的样本，得到先验概率P(y)，以及各属性条件概率P(xi|y)。

概率图模型更新计划

　　由于coursera上的视频顺序与书上不一致，我决定还是按照书本章节来更新。内容上分为笔记与习题，笔记覆盖书本与视频大部分知识点以及自己觉得的难点与想法。习题暂时只更书上的习题，由于每章的习题很多，每章只会更新带*的题目，以及部分思考很久的不带*的题目。从官网上看这本书是有教师用书的，上面有部分习题解答，但是我并没有找到这本书的电子版，伤心。然后是编程，由于公开课上声明了不准公开自己的代码，所以仅对每次编程作业进行一些归纳总结，官网上说这本书的配套编程作业也会不久到来，但是这本书出版已经6年了，希望它真的会出来。

　　鉴于这本书的难度，更新肯定不能像西瓜书那样两三天一章，希望能坚持下来！

目录

预备章节

第一章 引言

• 学习笔记 http://blog.csdn.net/icefire_tyh/article/details/54098386

第二章 基础知识

• 学习笔记 http://blog.csdn.net/icefire_tyh/article/details/54098062
• 习题与编程 http://blog.csdn.net/icefire_tyh/article/details/54098065

第一部分：表示

第三章 贝叶斯网表示

• 学习笔记(一) http://blog.csdn.net/icefire_tyh/article/details/54604329
• 学习笔记(二) http://blog.csdn.net/icefire_tyh/article/details/54604331
• 习题与编程 http://blog.csdn.net/icefire_tyh/article/details/54604334

第四章 无向图模型

第五章 局部概率模型

第六章 基于模板的表示

第七章 高斯网络模型

第八章 指数族

第二部分：推理

第九章 精确推理：变量消除

……
第三部分：学习
第四部分：行为与决策