机器学习之&&Andrew Ng课程复习--- Advanced optimization(Logistic Regression)
来源:互联网 发布:手机端口转发 编辑:程序博客网 时间:2024/05/18 03:31
1.首选我们来回顾一下优化算法
2.除去梯度下降法,我们还有什么方法可以学习参数
(BFGS:共轭梯度法,L-BFGS:限制变尺度法),以上三种优化算法不在我们讨论范围类,但是我会介绍怎么在Octave中运用这些优化算法来加速最小化J(Theta)以及他们的优缺点
3.下面我们看一个怎么用这些算法的例子
我们在octave中可以这样来实现
它的调用形式为下图:
# ‘’GradObj and On“设置梯度目标参数为打开(on),表面你现在确实要对这个算法提供一个梯度。”MaxIter 100“设置最大迭代次数
#initialTheta 设置一个初始参数
#@表示指向我们刚刚定义的函数的指针,当你调用它,它就会调用那些高级优化算法中的一个,自动决定学习速率,从而学习得到Theta。
4.我们将以上思想应用到LR。
For example:
总结:
这些优化算法可以帮助我们加速损失函数的收敛,更快的达到最小值,更重要的是我们不需要手工的决定学习速率,处理大型数据回归问题非常方便。
0 1
- 机器学习之&&Andrew Ng课程复习--- Advanced optimization(Logistic Regression)
- 机器学习之&&Andrew Ng课程复习--- Cost Function(Logistic Regression)
- Andrew NG机器学习课程笔记系列之——机器学习之逻辑回归(Logistic Regression)
- Andrew NG机器学习课程笔记系列之——机器学习之逻辑回归(Logistic Regression)
- 机器学习之&&Andrew Ng课程复习---Regularization
- 机器学习之&&Andrew Ng课程复习--- 神经网络3
- 斯坦福 机器学习Andrew NG 第三讲Logistic Regression
- Andrew NG 机器学习 练习2-Logistic Regression
- Andrew NG 机器学习 Logistic Regression 第三周编程作业
- 监督学习之Logistic regression——Andrew Ng机器学习笔记(二)
- Andrew NG UFLDL讲义学习代码之Logistic Regression
- 机器学习之&&Andrew Ng课程复习--- 机器学习系统设计
- 机器学习之&&Andrew Ng课程复习--- 怎样选择机器学习方法、系统
- 机器学习之&&Andrew Ng课程复习--- 学习笔记(一、二课)
- 机器学习之&&Andrew Ng课程复习--- 学习笔记(第三课)
- 机器学习之&&Andrew Ng课程复习--- LR之决策边界
- 机器学习之&&Andrew Ng课程复习--- 神经网络的表层结构1
- 机器学习之&&Andrew Ng课程复习--- 神经网络的表层结构2
- 快排与并查集
- Server returned HTTP response code: 403 for URL: http://blog.csdn.net
- VC++ 6.0 快捷键 及 断点调试方法
- aoj0118-Property Distribution
- HTML——博客网页布局
- 机器学习之&&Andrew Ng课程复习--- Advanced optimization(Logistic Regression)
- 转 Android 内存溢出---Context
- java中的system.out.println()和JSP中out.println()区别
- HDU5087 Revenge of LIS II
- Linux文件打开操作
- 【POJ1125】Stockbroker Grapevine 最短路
- 低功耗芯片间串行媒体总线SLIMbus
- C++和C在linux下编程和与在WINDOWS下有什么区别
- lua中table如何安全移除元