机器学习的一些基本概念——参考《机器学习》

机器学习中的：属性、标记、属性值、示例、样本、标记、标记空间、输出空间、样本空间、属性空间、输入空间、特征向量的定义如下图所示：

机器学习中的学习、有监督学习、无监督学习、分类、回归、聚类的定义如下图所示：

根据训练集可以形成的所有可能的模型的集合叫做“假设空间”。

在假设空间中，存在着一个与训练集一致的假设集合，称之为“版本空间”。

机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”，归纳偏好会帮助我们从版本空间中得到最终的模型。

假设一个问题是完全随机没有规律的，即所有问题出现的机会相同，或所有问题同等重要时，所有的学习算法得到的模型都是同样好的，但是真实世界的问题大都有一定规律，因此选择“归纳偏好”正好与问题相匹配的学习算法，得到的模型才是最准确的。