《机器学习》读书笔记1

周志华《机器学习》，开学！

第一章 绪论

1.1 引言

机器学习（ML）所研究的主要内容：是关于在计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learning algorithm）。

 

1.2 基本术语

数据集（data set）=示例（instance）/样本（sample）的集合，一个instance/sample具有多种“属性”（attribute）/“特征”（feature），学得的模型对应了关于数据的某种潜在的规律，称之为“假设”（hypothesis）。具有“标记”（label）的示例（instance）称之为“样例”（example）。

 

欲预测的是离散值，此类学习任务称之为“分类”（classification）；

欲预测的是连续值，此类学习任务称之为“回归”（regression）；

将训练集分成若干簇（cluster），此类学习任务称之为“聚类”（clustering）。

 

聚类学习中使用的训练样本（sample）通常不拥有标记（label）信息，而分类和回归学习中有标记（label）信息。

  “监督学习”（  supervised learning）：训练集有标记，如分类和回归

“无监督学习”（unsupervised learning）：训练集没标记，如聚类。

 

学得模型适用于新样本的能力，称之为“泛化”（generalization）能力。

 

独立同分布（i.i.d., independent and identically distributed）

 

归纳（induction）：从特殊到一般的泛化过程

演绎（deduction）：从一般到特殊的特化过程

 

1.3 假设空间

假设空间（hypothesis space）：学习过程可看做一个在所有假设（hypothesis）组成的空间中进行搜索的过程。可能有多个假设与训练集一致，即存在一个与训练集一致的“假设集合”，称之为“版本空间”（version space）

 

1.4 归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称之为“归纳偏好”（inductive bias）。由于存在版本空间，任何一个有效的机器学习算法必有其归纳偏好。“奥卡姆剃刀”是一种常用的归纳偏好：若有多个假设与观察一致，则选择最简单的那个（如何判定“简单”则是一个不简单的问题！）。现实问题中，算法的归纳偏好是否与问题本身匹配，决定了算法能否取得好的性能。

 

NFL（No Free Lunch）定理：任何学习算法在所有样本空间上的总误差与学习算法无关。所有学习算法的期望性能都跟随机胡猜差不多！说明脱离具体问题，空泛谈论哪种算法好是无意义的，这就是归纳偏好的意义和价值。

 

1.5 发展历程

机器学习发展历程：推理期-》知识期-》学习期。

推理期：逻辑推理，数理逻辑应该算其中之一吧？

知识期：专家系统

学习期：连接主义学习（神经网络），符号主义学习，统计学习，归纳学习（涵盖监督学习与无监督学习）。

连接主义学习最大局限性是其“试错性”：调参调参，死上一千！

深度学习即多层的神经网络最近大热，大热原因是：虽然模型复杂度高，但只要不怕麻烦下功夫调参就可能搞个泛化性能好的模型，降低了大家参与的门槛，而且硬件计算能力大幅提升，模型训练时间短了，有利于试错，另外，大数据时代，很多大型互联网公司有训练模型需要的大量数据，所以深度学习重新走红！

1.6 应用现状

略。

1.7 阅读材料

略。