PGM的一些文章和书

陆陆续续，接触和了解PGM方面的文章和书有一年多了。开始时，我找的是DP方面的文章，你可知道这个可是近几年来比较难的一个东西，但是我当时不知道，怎么办呢？我开始看的时候费了好长时间，而且关键是遇到了很大的阻力，这个就不提了。倒是，我的导师给我了支持，他说，最后我实在看不懂时去找了导师，其实他那么忙，我当时是想借着他的人际关系联系个人帮我，可我没表达清楚，导师说实在看不懂就拿来给我，你找个时间，我在办公室时给我，我给你看看。当然，最后我没拿给他看，我最后看了N多个资料文章，终于看懂了，貌似看懂了其实。我很感谢导师的支持的其实。

 

LDA,DP,这两个都是比较HOT的主题吧，但是前者比后者容易多了。在看前者时，我好像懂了，但是后来发现并不懂，看DP时，我回头又看这个LDA，从最初作者的PHD THESIS,到LDA的很多tutorial，关于变分和gibbs的，再看很多人的学习notes,到最后看懂了LDA后，才感觉慢慢读懂了DP的文章，再从头看DP和HDP,如此下来不知折腾了多少次。在其中，一篇博士论文不得不提及到，erik sudderth的博士论文，写的非常有可读性，当时读的这个论文，让我了解了很多基础知识。

 

再者LDA的一些tutorial，尤其是关于LDA的gibbs实现的那篇，写的非常好，而且作者是个非常NICE的人，将其note不断的更新并在网上update，我当时就是读了这篇文章才找到感觉的。

 

关于DP，其实，我现在不觉得那篇文章写的特别可读，大概是因为这个东西需要太多的理论和数学基础了，你无法通过一两篇文章就达到掌握的目的的。而要想了解，就多看几篇相关的文献references吧。

 

其实LDA,DP均是近几年比较热的概率图模型PGM的一种算法，关于PGM，其实太大了，正如其名称一样，其用到了概率统计的知识，也用到了图模型的知识。当然，不是简单的相加，其内容太丰富了，简直是一个庞大的容器。就像前几天所里的老师在讲课时，说到这可是一滩深水，风险和机遇并存，再者其中太多东西没有解决了。推断就是个大问题，我也不知道为什么，我一直比较关注推断这块，不是看到其有多大发展，其实我没想那么多，我就是觉得这部分应该挺有意思的，而且很重要，呵呵，我是个实用主义者。

 

关于PGM，有几本书，首先是BISHOP的prml，这本书可是一本很不错的书，我觉得书写的很不错的，其中关于PGM的内容，从第8章开始，写的很容易看懂的，而且我觉得可读性很强。

 

JORDAN是一个牛人，而且关于PGM的很多算法我都是看的他那里的工作，他写了几本书了，至少两本，其中一本是简介introduction，这本书没有出版，只是看到了一部分电子版的，网上流传的，感觉还不错。另外一本，是公布的，有点类似于论文集或者报告，但是很全面，只是很难。

 

KOLLER，是另外一个PGM的牛人，她的书，我们系统学过了，现在我的导师正在领导我们系统翻译，可是，我并不是很喜欢这本书，写的太晦涩，公式太多，很乱，而且错误很多。但是，内容很全面，也是很新的一本书。

 

看了大量的文章，尤其是关于DP的，写了篇综述，其实没什么自己的东西，仅仅是作为自己的理解，将该算法的应用情况总结了一下，其实HDP的原作者已经写了类似的，只是他写的更偏重于NLP的应用和算法的介绍，我希望除了介绍之外，还有些我自己的理解，尤其是这几年这类算法在很多地方的应用，这才是最重要的。估计应该能够发表的，已经完成了一审修改，改动不大，希望能给希望了解这个算法的人一点帮助。