Coursera-Machine Learning 笔记（二）Linear Regression with multiple variables

Coursera-Machine Learning 笔记（二）

TOPIC: Linear Regression with multiple variables

摘要

本文是斯坦福大学机器学习公开课的听课笔记。课程内容为第二周的多元函数线性回归。

第一课，Multiple Features

讲述的是多元函数的记法。 简单的说，用sub-script表示特征维度， 用up-script表示样本编号。将上节课一维的特征扩展到多维的特征。

第二课，Linear Regression with multiple variables

提出了 多元函数线性回归模型

h(x)=theta * x

这里theta 是一个n+1维向量。 x包含了 x0=1

定义了损失函数：

根据梯度下降的一般步骤指定了更新规则。

todo

比较有意思的是， 这一部分我用matlab 做了实现。
发现了一些有趣的问题。

第一， 对于我的训练集， 学习速率必须设置为0.00005之类的非常小的值才能收敛。我的训练集是100个自动生成的数据。目标函数是

y=3+4x1+5x2+6x3+7x4

第二， 在两元线性回归时，初始点选择（0，0）和（10，10）都能收敛到结果。但是上面的模型五个位置量时，初始点选择在（3，3，3，3，3）比全0要强。收敛结果很接近。（依然不在3 4 5 6 7）.
考虑函数复杂之后，更容易陷入局部最优。

这部分代码在github/coldzoo上可以找到