台湾国立大学的《机器学习基石》第一讲 笔记

一,机器学习定义

A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

三个关键：
1.Exits some “underlying pattern” to be learned
2.No programmable definition
3.There is data about pattern

f是理想方案，通过算法A在假设空间H选择最好的假设g,目标是让g近似f
所有的假设空间H就是假设方案g的集合

二,具体以使用机器学习

三,机器学习和统计，人工智能，数据挖掘的区别(copy)
1， Machine Learning vs. Data Mining
数据挖掘是利用（大量的）数据来发现有趣的性质。
1.1 如果这里的”有趣的性质“刚好和我们要求解的假设相同，那么ML=DM。
1.2 如果”有趣的性质“和我们要求的假设相关，那么数据挖掘能够帮助机器学习的任务，反过来，机器学习也有可能帮助挖掘（不一定）。
1.3 传统的数据挖掘关注如果在大规模数据（数据库）上的运算效率。
目前来看，机器学习和数据挖掘重叠越来越多，通常难以分开。

2， Machine Learning vs. Artificial Intelligence(AI)
人工智能是解决（运算）一些展现人的智能行为的任务。
2.1 机器学习通常能帮助实现AI。
2.2 AI 不一定通过ML 实现。
例如电脑下棋，可以通过传统的game tree 实现AI 程序；也可以通过机器学习方法（从大量历史下棋数据中学习）来实现。

3，Machine Learning vs. Statistics
统计学：利用数据来做一些位置过程的推断（推理）。
3.1 统计学可以帮助实现ML。
3.2 传统统计学更多关注数学假设的证明，不那么关心运算。
统计学为ML 提供很多方法/工具（tools）。