机器学习 第一讲:线性回归
来源:互联网 发布:mysql删除数据 编辑:程序博客网 时间:2024/04/29 02:47
Supervised Learning
首先给出一些基本定义,
The goal of supervised learning can be described as follows: given a training set, to learn a function
基于目标值的形式不同,Supervised Learning 主要分成两大类.
Regression Problem(回归问题): 输出变量是连续值.
Classification Problem(分类问题): 输出变量是离散值.
线性回归
我们先考虑一个简单的线性回归问题,我们假设输入变量
现在,给出一组有
这个函数与最小均方误差函数很像,接下来,我们讨论如何求解参数
LMS Algorithm
为了求得最优的参数
表示成如下:
其中,
进而,我们可以得到只有一对样本时的更新准则:
这就是有名的LMS更新原则,也叫Widrow-Hoff学习准则,参数
batch model的更新原则是每一次更新要遍历所有的样本,如下所示:
而stochastic model每遇到一个样本就会进行一次更新,如下所示:
从上面两种方式可以看出,batch model 每做一次更新要遍历所有的样本,这是非常耗时的,特别是在样本数非常多的时候,而stochastic model 是即时更新,每遇到一个样本就更新一次,通常情况下,stochastic model会下降地比batch model 快,不过stochastic model的一个缺陷是有可能无法收敛到全局最小值,而是在最小值附近来回扰动,这大概也是称之为stochastic model的原因,最终收敛的值带有一定的随机性,然而虽然只是收敛到全局最小值附近,很多时候这种近似已经非常靠近全局最小值,而且stochastic model的效率要更高,所以stochastic model一般会作为优先考虑的方法。
更通常的一种做法是结合两种方式,将整个训练集分割成很多个小的batch,然后利用stochastic model进行更新,每遇到一个小的batch,进行一次更新,这样做利用了stochastic model的高效,也在一定程度上减轻了在全局最小值附近的扰动。
- 机器学习 第一讲:线性回归
- 机器学习第二讲 线性回归
- Standford 机器学习—第一讲 Linear Regression with one variable(单变量线性回归)
- Stanford 机器学习 第二讲------- 线性回归及梯度下降
- Stanford 机器学习 第三讲------- 多变量线性回归
- 机器学习-线性回归
- 【机器学习】线性回归
- 机器学习-线性回归
- 机器学习 线性回归
- 机器学习-线性回归
- 机器学习--线性回归
- 机器学习---线性回归
- 机器学习----线性回归
- 机器学习--线性回归
- 机器学习--线性回归
- 机器学习-线性回归
- 机器学习---线性回归
- 机器学习-线性回归
- POJ 2115-C Looooops(基础一元线性同余方程)
- LIBRARY_PATH和LD_LIBRARY_PATH环境变量的区别
- Android中invalidate() 函数详解(结合Android 4.0.4 最新源码)
- pthread_create如何传递两个参数以上的参数
- 第二章
- 机器学习 第一讲:线性回归
- Android之开源控件ViewFLow学习笔记【含下载地址】--(原创-20150407)
- android 工具下载
- 想租服务器的可以找我
- Android studio的安装过程问题解决
- Swift学习笔记(一)
- javaScript面试题大全
- JAVA习惯用法总结(转载)
- 第五周(三角形,2个类)