PRML读书笔记:框架

PRML： Pattern Recognition and Machine learning

作者Bishop说此书是作为 Pattern Recognition 和 Machine Learning 的入门书籍，适合高年级本科生和一年级Phd来读，我觉得整个Phd阶段把这本书读通了就很厉害了

以统计学习的方法来解决机器学习的问题。想要更详细系统的统计学习的知识，应该再学习另外一本书：The Elements of Statistical Learning

Part I 基本概念和基础知识

1.Introduction

介绍了概率论，区分了经典概率论（frequentist）和 Bayesian理论

Model Selection

Decision Theory

Information Theory

2.Probability Distribution 

简单的讲解了概率分布，重点是Gaussian Distribution，后面章节会被广泛应用，而且也是统计学习的基本假设。

Part II  3\4章讲线性模型   

3.Linear Models for Regression

3.1 常用的least squares的方法，亮点是它和Maximum likelihood的关系

4.Linear Models for Classification

4.1 Discriminant Function

重点讲到Fisher LDA

4.2 Probabilistic Generative Models
4.3 Probabilistic Discriminative Models

重点讲到Logistic Regression。很有意思的是，Logistic Regression虽然名字是Regression， 确是分类的方法

4.4 The Laplace Approximation
4.5 Bayesian Logistic Regression

Part III 5\6\7章讲非线性模型

5. Neural Network

这本书提到的神经网络是很早以前的内容，不涉及Deep Learning。书中有些方法和理论已经有点过时了，想要更好地学习神经网络以及深度网络，找一些更新的书来看

6. Kernel Methods

RBF Kernel 和 Gaussian Processes

7. Sparse Kernel Methods

重点是SVM（Support Vector Machines）和 SVR

Part IV  8\10\11\13章讲基于图模型的理论

8. Graphical Models

非常火热的model

10. Approximate Inference

11. Sampling Methods

13. Sequential Data

重点讲到HMM（Hidden Markov Models）

Part V 从概率模型的latent variables观点

9. Mixture Models and EM

latents variable 是 discrete

讲Clustering的方法。 K-Means， Guassian Mixture 以及 EM算法

12.  Continuous Latent Variable

latents variable 是 continuous

PCA （Principal Component Analysis）及其变种

Part VI 

14.  Combining Models

Tree Models: Boosting, Bootstrap