1、机器学习-Linear regresstion with one varible

来源：互联网发布：淘宝客户问卷调查编辑：程序博客网时间：2024/04/29 08:33

机器学习-Linear regresstion with one varible

本讲主要参考资料:

斯坦福大学机器学习的牛人Andren Ng.的机器学习pdf课件和视频。

机器学习pdf课件下载：http://pan.baidu.com/disk/home#from=share_pan_logo

  斯坦福大学机器学习公开课链接：http://v.163.com/special/opencourse/machinelearning.html

网络博客牛人加"美女"Rachel-Zhang:http://blog.csdn.net/abcjennifer/article/details/7691571

Andrew Ng 讲的课程内容全面详细、讲述方法抽象转具体（用很框架图、数学图形详细阐述）、逻辑紧密有条理。这让你感到简单易懂。

"美女"Rachel-Zhang是在老师Andrew Ng.讲的基础上，进行概括总结，内容更有代表性更少，利于复习，但很少加入自己的观点。这虽然更加客观地展现原课程的精髓，但没有“美女”Rachel-Zhang的学习体会与心得。

因此，本人借鉴Andrew Ng老师的讲课风格，参考“美女"Rachel-Zhang博客，加上自己的学习体会，来写这篇博文。

课程：

    课程目标：弄清什么是”Linear regresstion with one varible“。

    讲述方法：先整体后细节，从抽象到具体（整体的框图，数学的图形）

    课程内容安排原则：按照人理解认识的过程，思维过程去排列课程内容的顺序，也是有逻辑有条理

目录：

Linear regresstion with one varible
Model representions
Cost Funtion
   Cost Funtion:Intuiton 1
    Cost Funtion:Intuiton 2
Gradient descent
    Gradient descent Intuition
Gradient descent for regression
Compliment: "batch gradient descent"
从数学的角度看，所谓的单变量线性回归模型，这是对假设模型h来说的如下图所示：
所谓的单变量就是函数h只有一个自变量；
所谓的”线性“是指因变量与自变量的关系是线性的，即因变量随着自变量变化关系是线性的；
所谓的”回归“就是因变量的范围即函数的值域是实数；
而所谓的”模型“就是数学中的某一类函数，比如对数函数，指数函数，多项次函数（具体点：二次函数），也可是概率统计当中的随机变量的函数等等。
训练集分为两种：一种是有标签的训练集，和一种是无标签的训练集；
从数学的角度看，有标签的训练集就是已知的（具体的自变量数值｜对应用的具体因变量数值）的集合；
而无标签的训练集是已知的具体的自变量的集合。
训练集是用来求解模型h的参数的，两者的结合可以组成方程，可以通过求方程的解来求参数的值；但一般算法不会用方程组来求假设模型h参数的值，因为用这样的方法求解，计算机所花的时间比较长。一般所采用的算法是迭代法，比如梯度下降，共轭梯度下降等。
学习算法，从数学的角度 看，也就是求解假设模型参数的一种方法。它往往跟代价函数相联系，用来求解代价函数最小值或者最大值。
而代价函数一般由假设模型h（估计的值）和目标值（实际的值）之差组成。它有多种形式，比如均值平方差、对数平方差（K|L)等。这要根据具体的实际问题具体情况而定。一般的原则就是在不影响机器性能的基础上，选取容易求最值的代价函数。
假设模型h,从数学角度看，它就是某种参数未知需要求根据训练集求解的函数。它的选择跟实际问题关系特别大。根据实际的问题，选择线性的还是非线性的，选有核的还是无核的等。
测试集，从数学的角度看，就是来测试所求出的模型h(此时，h的参数已经确定）是不是很好的表示给出的测试集。这在一定程度上，验证了你所假设的模型好不好。
估计值，从数学的角度看，就是给一个测试样本（不含有标签）输入变量具体值，由所求得的模型h求出函数的值。
学习体会：
1、关键字：有标签训练数据、无标签训练数据、学习算法、假设模型、测试数据（无类标）、类别估计值
  
2、假设模型H
  
3、假设模型与代价函数

  -假设模型与代价函数几何图形的对应表示：

    -含有两个参数变量的代价函数在matlab中的三维图形显示

4、梯度下降

    -梯度下降的整体框架：

    -梯度下降过程的三维图形显示：

    -梯度下降算法的描述:

    -梯度下降学习率的理解：

5、线性回归模型的梯度下降算法

     -梯度下降算法与具休的线性回归模型：

   -单参数线性回归模型与代价函数在学习过程中的动态显示

6、”块“梯度下降

0 0