1、introduction

x   列向量，xT   行向量（转置）

(w1, . . . , wM)   行向量，w = (w1, . . . , wM)T   列向量

M矩阵

IM   M × M的单位阵

g(x) = O(f(x))，例如，g(x) = 3x2 + 2, then g(x) = O(x2)

1、introduction

输出是离散的，是分类，例如手写数字分类；输出是连续的，是回归，例如估计产量。

probability theory, decision theory, and information theory

   1.1多项式曲线拟合

      用多项式 y(x,w) = w0 + w1x + w2x2 + . . . + wMxM 拟合曲线

    （1） error function：

               choose w  minimize之，训练数据少，M取大的话（M>3），例如，M=9时，出现过拟合（Bayesian approach可以避免）

    （2） E(w
*)是残差，也就是上面式子的E(w)

           训练数据少，M取大的话（M>8），才出现过拟合。为什么这样更好呢

    （3） 可以避免过拟合， ln λ = −18时，可以避免M=9时的过拟合

   1.2概率理论

                           X,Y相互独立的话，

         Bayes’ theorem：

Curve fitting re-visited：

        1.3 Model Selection

1.4维数灾难

      

维数2维时，这种简单的方法还可以，但是维度高时，问题就来了：每个cell里很可能没有测试样本点

1.5决策理论