参数方法和非参数方法

　　机器学习上的方法分为参数方法(根据先验知识假定模型服从某种分布，然后利用训练集估计出模型参数，也就弄清楚了整个模型，例如感知器)和非参数方法(基于记忆训练集，然后根据训练集预测，例如kNN)。

参数方法

　　参数方法根据先验知识假定模型服从某种分布，然后利用训练集估计出模型参数，也就弄清楚了整个模型。
　　那么，估计模型参数到底是一个客观存在的参数还是一个概率密度分布，这个分歧就引出了贝叶斯学派和非贝叶斯学派的不同之处。

非贝叶斯学派

　　非贝叶斯学派认为先验知识是指一组数据服从某个分布，那么分布的参数是客观存在的，可以利用数据做出估计，进而获得后验估计。典型代表方法是最大似然估计。

贝叶斯学派

　　贝叶斯学派认为，先验知识是数据服从某个分布和这个分布参数的先验概率密度，模型的参数本来就是一个概率分布，数据集可以获得参数的后验概率密度，进而获得后验估计。这种方法称为贝叶斯估计。
　　
　　我学概率统计课程的时候对贝叶斯估计比价陌生，最近准备详细推导几个例题加深理解。对于贝叶斯估计，纸上得来终觉浅，还是推导几个例题较好。

贝叶斯决策理论

　　关于贝叶斯决策理论我之前学习学到过，博客里也总结过最小化期望风险的思想。

　　下面总结一下关联规则的一些度量。

关联规则

　　support(X,Y)=P(X,Y)
　　confidence(X→Y)=P(X|Y)
　　lift(X→Y)=P(X,Y)P(X)P(Y)

参数估计的泛化误差

　　泛化误差由方差和偏倚组成。
　　
　　E(d−θ)2=E((d−Ed)+(Ed−θ))2=Var(d)+(Ed−θ)2

　　欠训练时，方差小，偏倚大，欠拟合。
　　过训练时，方差大，偏倚小，过拟合。