非参数方法、参数方法与半参数方法

参数学习方法：

  假设了一个在整个输入空间上有效的模型，将问题归结为在样本上估计少量参数，(如:线性模型估计w，高斯分布估计mu和sigma).参数学习方法假定了一个模型，当模型假定不成立，或者样本不是一个分组，可能导致很大的误差。(如:语音识别，由于不同口音、性别、年龄、发音等，没有单个同样的模型).

半参数方法：

  为样本每个分组假定一个参数模型，(如:使用混合分布估计输入样本).

非参数方法：

  只假定相似输入具有相似输出(如:k近邻)，非参数方法使用合适的聚类度量相似性，对于输入样本，从训练集中找出它们的相似示例(输入样本的邻域)，并由相似的实例插值得到正确的输入。参数模型定义了一个全局模型，所以训练样本都影响最终估计，而非参数方法不存在全局模型，需要时估计局部模型(如:局部加权线性回归),它们只受邻近训练样本影响,是局部响应.因此非参数模型不是固定的，复杂性依赖训练集大小，非参数学习方法又称基于实例或基于记忆的方法，输入样本搜索训练集中相似样本，并基于相似子集插值。