线性回归——Stanford Machine Learning (1)
来源:互联网 发布:入侵报警系统网络模块 编辑:程序博客网 时间:2024/05/19 13:23
一.梯度下降法:
我们假设回归函数为:
,这里x0 = 1.
定义回归函数和实际值之间差的均方和为损失函数:
,m为样本数量
我们的目的是求出使损失函数最小的参数的值。求最小值,对于每个参数,求出梯度并使梯度等于0,此时的即为对于参数来说,损失函数最小。
是包含所有参数的一维向量,我们先初始化一个,在这个值之上,用梯度下降法去求出下一组的值,由于是梯度下降的,所以损失函数的值在下降。当迭代到一定程度,的值趋于稳定,此时的即为要求得的值。
迭代函数如下:
每次迭代,我们用当前的求出求出等式右边的值,并覆盖得到迭代后的值。
这里
二. 随机梯度下降法(stochastic gradient descent)和批梯度下降法(batch gradient descent)
随机梯度下降法和批梯度下降法是对于多样本迭代的两种策略,其中,随机梯度下降法是在每一次迭代中,随机的选择m个样本来求取的值,而批梯度下降法在每次迭代中,需要先求出所有样本的梯度值。相比之下,随机梯度下降法高效。
A. 随机梯度下降法:
Repeat{
for i = 1 to m{
对于每一个j进行操作
}
}
这里的m为随机选择的m个样本。
B. 批梯度下降法:
Repeat 直到收敛{
对于每一个j进行操作
}
这里的m为整个样本数。需要先求出在本次迭代中整个样本关于j的导数和,再计算出,对于大样本,很耗时。
三.最小二乘法
A. 需要用到的公式
首先我们定义为一个m*n矩阵,它在(i,j)上的元素值为。定义n*n的方矩阵A的迹trA为
我们可以证明trABCD = trDABC = trCDAB = trBCDA
同时,下面两个公式也可以证明:
B. 最小二乘法求线性回归
对于m个样本,每个样本的n个特征值可以表示为一维列向量Xi,则m个样本,可以组成样本矩阵m*(n+1),其中的1为常量参数:
这里每一行为一个样本的特征向量;
我们设Y向量为样本特征值对应的目标值,则:
由于,我们可以得到:
到这里,我们需要求X-Y的平方和,假设各个特征之间是相互独立的,则(X-Y)转置*(X-Y)可以得到除了对角线之外都为0的矩阵,而对角线上的值,为X-Y的平方值。于是有:
对矩阵求导的:
令求导函数等于0,此时
于是:
- 线性回归——Stanford Machine Learning (1)
- Stanford Online Machine Learning 学习笔记1——单变量线性回归
- Stanford Online Machine Learning 学习笔记1——单变量线性回归
- 2、 Linear Regression 线性回归 [Stanford - Machine Learning]
- 单维与多维线性回归代码( machine-learning-ex1 ) Stanford machine learning
- machine learning(线性回归)
- Machine Learning线性回归
- Machine Learning课程笔记2——线性回归2
- Machine learning (1)线性回归
- Machine Learning 1-线性回归算法分析
- Machine Learning(Stanford)| 斯坦福大学机器学习笔记--第一周(2.线性回归,代价函数)
- Stanford Andrew Ng ——Machine Learning WEEK 1
- stanford machine learning 笔记 1
- Machine Learning(Stanford)-1 Introduction
- Machine Learning Stanford (week 1)
- 机器学习(Machine Learning)心得体会(1)线性回归
- Coursera 《Machine Learning》 编程作业1:线性回归
- Machine Learning(Stanford)| 斯坦福大学机器学习笔记--第一周(5.线性回归的梯度下降)
- 欢迎使用CSDN-markdown编辑器
- python元编程--装饰器函数
- HDU 3853 LOOPS(概率DP简单题)
- Android内存分析
- Android-百度地图-定位功能
- 线性回归——Stanford Machine Learning (1)
- 证书问题、刷新自定义view实例
- 目标检测之Harris角点特征
- C++11 lambda表达式
- 决策树算法介绍及应用
- Java反射的学习
- 正态分布,泊松分布,指数分布的c/c++代码
- MyBatis使用及原理
- hznu1858 至少选k个点框起来的最小正方形的边长