Machine Learning第十周笔记:大规模机器学习
来源:互联网 发布:常见的网络进攻形式 编辑:程序博客网 时间:2024/06/06 23:52
博客已经迁移到Marcovaldo’s blog (http://marcovaldong.github.io/)
刚刚完成了Andrew Ng在Cousera上的Machine Learning的第十周课程,这周主要介绍的是大规模机器学习,现将笔记整理在下面。
Gradient Descent with Large Datasets
Learning With Large Datasets
在前面介绍bias-variance的时候,我们曾提到一个比较各种算法孰优孰劣的实验,结论是”it’s not who has the best algorithm that wins, it’s who has the most data.”但处理大规模的数据库时往往面临着计算问题。假设有一个数据量
其中的求和要进行
Stochastic Gradient Descent
以线性回归的梯度下降过程为例来介绍随机梯度下降(stochastic gradient descent)。下图给出了线性回归的hypothesis、损失函数和梯度下降过程:
现在面临的问题是,m值得特别大导致
在随机梯度下降中,我们定义模型在数据点(
那么模型在training set上的损失函数变为
下图中给出了随机梯度下降的步骤。第一步要做的就是随机重排序你的training set。第二步就是迭代,迭代的内容是依次在每个个数据点上改进参数
Mini-Batch Gradient Descent
前面我们提到,批量梯度下降对参数
Stochastic Gradient Descent Convergence
折一小节我们来介绍判断随机梯度下降是否收敛的技巧。前面我们说用
另外,在随机梯度下降的过程中,我们可以使用一个变化的learning rate,计算公式如下:
其中const1和const2是固定值,iterationNumber是迭代次数(也就是
Advanced Topics
最后两小节正在整理中,稍后上传
Online Learning
Map Reduce and Data Paralism
- Machine Learning第十周笔记:大规模机器学习
- Machine Learning第十讲[大规模机器学习]
- Stanford Machine Learning -- 第十讲 大规模学习
- Andrew NG 机器学习 笔记-week10-大规模机器学习(Large Scale Machine Learning)
- Coursera机器学习-第十周-Large Scale Machine Learning
- 大规模机器学习(Large Scale Machine Learning)
- Machine Learning - XVII. Large Scale Machine Learning大规模机器学习 (Week 10)
- 机器学习【machine learning】学习笔记【1】
- Machine Learning第六周笔记二:机器学习系统设计
- Machine Learning机器学习笔记-week1
- Machine Learning 机器学习
- 机器学习(Machine Learning)
- 机器学习 Machine Learning
- 机器学习(Machine Learning)
- Large Scale Machine Learning--An Engineering Perspective--1. 大规模机器学习平台的构成
- 斯坦福大学机器学习第十课“应用机器学习的建议(Advice for applying machine learning)”
- 机器学习实践 学习笔记1 Machine learning basics
- Machine Learning 学习笔记
- 京东 上台阶
- W3C标准以及XHTML和HTML
- java多线程中的interrupt方法的使用
- 51nod 1085 背包问题<水过>
- [Spring]Method Injection
- Machine Learning第十周笔记:大规模机器学习
- bootstrap中200个来自 Glyphicon Halflings 的字体图标
- 每天一记、美文积累、感慨杂谈
- 【GDOI2016模拟3.9】暴走的图灵机
- #define和typedef的区别
- 1003
- nyoj 739笨蛋难题四
- sphinx/coreseek测试报install missing XML libraries错
- Android使用xml自定义软键盘效果(附源码)