《机器学习》学习笔记一

今天开始学习周志华老师的机器学习这本书，一边学习一边记录笔记。

---

Chapter1 绪论

1.1 基本术语

• 数据集(data set)：记录的集合
• 样本(sample)：每条记录
• 属性(attribute)/特征(feature)：反映事件或者对象在某方面的表现或者性质的事项
• 属性值(attribute value)：属性的取值
• 属性空间(attribute space)/样本空间(sample space)：属性张成的空间
• 学习(learning)/训练(training)：从数据中获得模型
• 训练数据、训练样本、训练集
• 标记空间
• 分类、回归
• 监督学习、无监督学习
• 泛化
• 独立同分布(independent and identically distributed i.i.d.)

1.2假设空间

• 归纳(induction)：从特殊到一般的泛化(generlization)，从具体的事实归结出一般规律
• 演绎(deduction)：从一般到特殊的特化(specialization)，从基础原理推演出具体情况

从样例中学习是一个归纳的过程，因此亦称归纳学习(inductive learning)。

1.3归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，成为归纳偏好(inductive bias)。

奥卡姆剃刀(Occam’s razor)是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选择最简单的那个”