斯坦福机器学习教程学习笔记之1

本系列博客主要摘自中国海洋大学黄海广博士翻译整理的机器学习课程的字幕及笔记，在我的学习过程中帮助很大，在此表示诚挚的感谢！

本系列其他部分：

斯坦福机器学习教程学习笔记之1

斯坦福机器学习教程学习笔记之2

斯坦福机器学习教程学习笔记之3

斯坦福机器学习教程学习笔记之4

一、引言

监督学习(Supervised Learning)：分类问题、回归问题等。

无监督学习(Unsupervised Learning）：聚类算法等。

二、单变量线性回归(LinearRegression with One Variable)

一种可能的表达方式为：，因为只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题

代价函数：

梯度下降

其中α是学习率(learning rate)，它决定了我们沿着能让代价函数下降速度最快的方向迈出步子的步长。关于学习率α的选取，若α选择过小，则算法需要迭代许多次才能到达全局最小值点；若α选择过大，可能导致在梯度下降的时候越过全局最小值点，会导致无法收敛，甚至是发散。

此处要注意每次迭代都是同时对所有的参数同时更新。

线性回归模型的批量梯度下降算法

四、多变量线性回归(Linear Regression with Multiple Variables)

支持多变量的假设 h 表示为：，为了简化公式表示形式，引入x₀=1，则公示简化为：。

多变量梯度下降的代价函数：

批量梯度下降算法：

特征缩放

目的是将特征值的取值约束到-1<=x_i<=1的范围内，保证各特征值都足够相近，对特征点的有等同的影响。

，x0=1。

学习率

自动测试是否收敛的方法，例如将代价函数的变化值与某个阈值（例如 0.001）进行比较。当J(θ)随迭代次数上升时，试着用更小的α（同样适用于波浪形曲线）。通常可以考虑尝试些学习率：α=0.01，0.03，0.1，0.3，1，3，10。

多项式回归

正规方程

六、逻辑回归(LogisticRegression)

模型表示

代价函数

这样构建的Cost(hθ(x),y)函数的特点是：当实际的 y=1 且hθ也为 1 时误差为 0，当 y=1但hθ不为1时误差随着 hθ的变小而变大；当实际的 y=0 且hθ也为 0 时代价为 0，当 y=0 但 hθ不为0时误差随着 hθ的变大而变大。

梯度下降算法求解最优参数

在此处进行梯度下降算法之前进行特征缩放是必要的。

多类别分类：一对多

主要思想是将第i类定为正类，其余类别定为负类，拟合出i个分类器，在需要做出预测时，将待预测样本依次送入这i个分类器，得到i个h_θ(x)，并选择取值最大的那一个分类器的分类结果。