chapter 1（1.1, 1.2）

前言部分：

1. 预处理/特征提取 有利于训练过程的求解，也可以降低计算的复杂度。潜在的问题是在属性降维的时候丢失有用信息。

2. 三大问题：

有监督学习（supervised learning）：又可以分成两类，分类（classification）和回归（regression）。

无监督学习（unsupervised learning）：聚类（clustering）、density estimation、为了visualization降维。（ps: 第一次听到density estimation，不知道指的是什么）

强化学习（reinforcement learning）

1.1 举例：多项式回归

利用函数sin(2pi*x)生成数据，x取值范围[0,1], 在函数值上加入随机误差生成最后的观察数据。学习过程中寻找参数w使得误差函数最小，在此，采用sum-of-square error:

然后，通过讨论多项式的次数M的取值，提出过度拟合。由于数据集共有10条数据，当多项式次数M=9时，学习到的曲线能完全拟合所有数据，但其与真实的函数sin(2pi*x)相差甚远，主要表现在：训练误差为0，但测试误差极大。而当M=3时，拟合得到的曲线与真实的函数相近。

书中提出了两点有意思的情况：

(1)  M=9应该包括了M=3的情况，所以M=9的拟合效果理应不会比M=3时的差。

(2) 真实函数sin(2pi*x)的多项式展开应该是无穷阶的，所以M越大，拟合的效果理应越好。

细想一下，因为数据是带有噪声的，对此数据集的“拟合”效果越好，并不代表就能越好地拟合真实的函数，而当参数越多、取值越大时，收到噪声的影响也会越大。

分析参数的特点，发现：为了使模型能拟合所有的数据，参数w整体上取值较大。

当训练数据更多时，过度拟合的情况能得到改善。基于此，建议训练集的大小应该是参数个数的若干倍（如5倍或10倍）。书中又特地说了一下，参数个数并不是model complexity的最合适的度量。（这一点未明确）

为了避免过度拟合，在误差函数加上惩罚项以惩罚参数过大的情况：

选取合适的lambda，可以使M=9时也能得到较好的效果。

1.2 概率论

前面部分主要介绍了一些概率论的基本知识，像乘法规则（product rule）、加法规则（sum rule）、贝叶斯定理等。

（未完待续）