http://www.cnblogs.com/tbcaaa8/p/4415429.html
来源:互联网 发布:加盟淘宝店需要多少钱 编辑:程序博客网 时间:2024/06/16 00:36
1.线性回归 (Linear Regression)
线性回归是对自变量和因变量之间关系进行建模的回归分析,回归函数满足如下形式:
我们使用表示数据组数,使用
表示数据的维数;使用
和
表示第
组数据的自变量和因变量,使用
表示第
组数据自变量的第
个分量。推导过程基于如下假设:
即每一组数据的误差项相互独立,且均服从均值为0,方差为的正态分布。进而,我们可以得到似然函数:
对数似然函数:
化简,可得:
定义损失函数:
要使似然函数最大,只需使损失函数最小。我们使用损失函数的极小值代替最小值,只需对每一个求偏导数:
最后,使用梯度下降法迭代求解:
其中,为学习率,是一个大于0的常数。学习率应当慎重选择,过大会导致算法不收敛,过小会导致收敛速度缓慢。在实际应用中,可以根据具体情况对学习率进行调节。有资料表明,当
时,上述算法收敛。由于
难以高效计算,因此往往使用
来代替。
2. 逻辑回归 (Logistic Regression)
当因变量只能在{0,1}中取值时,线性回归模型不再适合,因为极端数据的存在会使阀值的选择变得困难。我们可以使用逻辑回归对数据进行建模。回归函数满足如下形式:
其中:
sigmoid函数具有如下性质:
推导过程基于如下假设:(其实就是假设y(i)~Bernoulli(hθ(x(i))))
考虑到取值的特殊性,上述假设等价于以下形式:
进而得到似然函数:
对数似然函数:
化简,得:
定义损失函数:
要使似然函数最大,只需使损失函数最小。我们使用损失函数的极小值代替最小值,只需对每一个求偏导数:
化简,得:
最后,使用梯度下降法迭代求解:
含义同上。
阅读全文
0 0
- http://www.cnblogs.com/tbcaaa8/p/4415429.html
- http://www.cnblogs.com/tbcaaa8/p/4415429.html
- http://www.cnblogs.com/flylovesky/p/3274869.html
- http://www.cnblogs.com/ada-zheng/p/3284660.html
- http://www.cnblogs.com/zhanghaiba/p/3548602.html
- http://www.cnblogs.com/scy251147/p/3566638.html
- http://www.cnblogs.com/amosli/p/3577645.html
- http://www.cnblogs.com/VisualImage/p/3594973.html
- http://www.cnblogs.com/kuangbin/p/3164106.html
- http://www.cnblogs.com/wengzilin/p/3530712.html
- http://www.cnblogs.com/qingjoin/p/3549325.html
- http://www.cnblogs.com/interdrp/p/3785164.html
- http://www.cnblogs.com/ruiati/p/3930732.html
- http://www.cnblogs.com/knowledgesea/p/3491214.html
- http://www.cnblogs.com/ganganloveu/p/3755191.html
- http://www.cnblogs.com/kenshincui/p/3885689.html
- http://www.cnblogs.com/lanxuezaipiao/p/3440471.html
- http://www.cnblogs.com/wangfupeng1988/p/4001284.html
- Obstacle Course(优先队列+BFS)
- CCF——模板生成系统
- 美国高通 Snapdragon Neural Processing Engine SDK (SNPE) 系列 (1):用户自定义层JNI实现
- springCloud(七)
- 2D图形
- http://www.cnblogs.com/tbcaaa8/p/4415429.html
- leetcode169. Majority Element
- p2p应该可以取代缓存业务吧
- myeclipse servlet的基本使用
- QT Creator 快速入门教程 读书笔记(一)
- 浅谈 概率与期望 DP
- 运行mvn命令出现MojoNotFoundException异常
- ztree的简单使用
- c++初级 之 双向链表