机器学习笔记

一、学习方式

在机器学习或者人工智能领域，可以根据算法的学习方式进行分类。

1.1 监督式学习(Supervised Learning)

监督式学习，是指由训练资料中学到或建立一个模式（函数/ learning model），并依此模式推测新的实例。

根据函数输出值的连续性可将此类问题分为回归分析问题（连续的值）和分类问题（非连续的值）。

典型算法：人工神经网络（ANN）、支持向量机（SVM）、最近邻居法（KNN）、高斯混合模型（GMM）、朴素贝叶斯方法（NB）、决策树（DT）和径向基函数分类（RBF）。

具体学习过程如下图所示：

1.2 非监督式学习（Unsupervised Learning）

非监督式学习是一种机器学习的方式，并不需要人力来输入标签。它是监督式学习和强化学习等策略之外的一种选择。在监督式学习中，典型的任务是分类和回归分析，且需要使用到人工预先准备好的范例(base)。

一个常见的非监督式学习是数据聚类。在人工神经网络中，自我组织映射（SOM）和适应性共振理论（ART）则是最常用的非监督式学习。

1.3 半监督式学习（Semi-Supervised Learning）

半监督学习是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。它主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。主要分为半监督分类，半监督回归，半监督聚类和半监督降维算法。

典型算法：图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM）等。

1.4 强化学习

强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。

强化学习和标准的监督式学习之间的区别在于，它并不需要出现正确的输入/输出对，也不需要精确校正次优化的行为。强化学习更加专注于在线规划，需要在探索（在未知的领域）和遵从（现有知识）之间找到平衡。