【机器学习笔记 二】 一元的线性回归

一 线性回归的定义：

       线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。（来自百度百科）

我的理解：一元的线性回归就如同 y=a*x+b这样的线性方程，对于我们的一些数据（x_1,y_1）,(x_2,y_2),....,(x_n,y_n)，近似的可以用此方程表示。

二 一元线性回归的模型：

这里以房价为例，假设房子的价格只与房子的大小（size）有关，那么对于现有的数据（Training Set）我们通过我们的学习算法，获得房子大小映射到最终价格的函数h，这样对于给定的房子大小，通过函数h即可得出价格。

H（x）=a*x+b，这叫做单变量的线性回归（Univariate'linear'regression）。

三 代价函数（Cost  function）

有了H（x），如何计算出a,b，这就是学习算法的事情了，这里用到了最优化里的思想，

映射函数：

代价函数：

目标：

代价函数的含义是对于给的训练集输入量x，通过h函数计算出的量h（x）与其实际的输出量y的方差。

四 梯度下降（Gradient descent）

对上述的代价函数如何计算出其最小值，大体思想如下：

1.        从给定的某个初值开始；

2.        然后不断的修改，确保不断的减小，直到减少到我们希望的最小值后结束。

梯度下降算法：

这里的为学习速率。