Python 梯度下降
来源:互联网 发布:僵尸变脸软件 编辑:程序博客网 时间:2024/05/24 05:08
为了实现监督学习,我们选择采用自变量x1、x2的线性函数来评估因变量y值,得到:
这里,sita1、sita2代表自变量x1、x2的权重(weights),sita0代表偏移量。为了方便,我们将评估值写作h(x),令x0=1,则h(x)可以写作:
其中n为输入样本数的数量。为了得到weights的值,我们需要令我们目前的样本数据评估出的h(x)尽可能的接近真实y值。我们定义误差函数(cost function)来表示h(x)和y值相接近的程度:
这里的系数1/2是为了后面求解偏导数时可以与系数相互抵消,一般用2m,算法更优化。这里更新算法我们选择梯度下降算法,利用初始化的weights并且反复更新weights:
这里a代表学习率,表示每次向着J最陡峭的方向迈步的大小。为了更新weights,我们需要求出函数J的偏导数。首先计算只有一个数据样本(x,y)时,如何计算J的偏导数:
对于只含有一组数据的训练样本,我们可以得到更新weights的规则为:
扩展到多组数据样本,更新公式为:
该算法又叫做随机梯度下降法,这种算法不停的更新weights,每次使用一个样本数据进行更新。当数据量较大时,一般使用后者算法进行更新。
0 0
- Python 梯度下降
- 梯度下降法-python代码
- 梯度下降法Python代码
- Python实现梯度下降法
- 梯度下降的python实现
- 梯度下降算法 Python实现
- 梯度下降算法的python实现
- python 梯度下降应用于线性回归
- 批梯度下降的 python 实现
- 逻辑回归-梯度下降法 python实现
- 梯度下降法及其Python实现
- 梯度下降原理及Python实现
- 【Python机器学习】梯度下降法(二)
- python实现随机梯度下降(SGD)
- 梯度下降算法的Python实现
- python最优化-梯度下降实现
- 梯度下降算法及Python实现
- python实现随机梯度下降法
- CSS透明度opacity与IE中的透明度滤镜filter的最准确的用法
- 从聚类讲到核函数
- kaggle竞赛全收录app开发规划
- hdu1075(map)
- 【OM】SoftEtherVPN搭建教程(2)
- Python 梯度下降
- 石子归并
- linux下安装python3.5.3
- Oracle SQLServer 和Mysql间的区别
- Qt如何去掉系统提供的窗口边框
- XMLHttpRequest cannot load 错误解决
- 初识HTML/CSS之HTML篇
- 三级菜单的其他实现方式
- 字符串中去掉空格