Coursera_机器学习_week10_笔记
来源:互联网 发布:谈谈对大数据的好处 编辑:程序博客网 时间:2024/06/06 05:54
大数据集的梯度下降算法
主要内容包括:
- 批量梯度下降法Batch Gradient Descent(BSD)
- * 随机梯度下降Stochastic gradient descent ( SGD) *
- 小批量梯度下降 Mini-Batch Gradient Descent
- online learning
-Map-reduce 并行化计算
回顾
梯度下降算法
批量梯度下降法Batch Gradient Descent(BSD)
每次迭代的时候,都对全部样本进行计算
随机梯度下降Stochastic gradient descent ( SGD)
先将样本数据随机打乱顺序,然后在每次迭代中,只是用一个样本数据
优点:节约计算成本
缺点:不是每次迭代都会是J变小,可能陷入局部最优解
为了确保SGD收敛(Convergence),在使用第i个样本更新
一般情况下learning rate(
小批量梯度下降 Mini-Batch Gradient Descent
每次迭代使用b个样本,b通常取值范围2~100,Angrew经常用的是10
借助octave的向量化计算函数,Mini-Batch 的 性能会优于 SGD;但多了一个参数b要调
online learning
当你的网站有很多访问量,有很多免费的数据,来一个数据,计算一次,丢弃这个样本,使用onlinelearning。如果你的网站数据量很小,那还是把数据保存下来慢慢train 比较好。
online learning 可以很好的使用用户的变化,比如经济危机的时候用户可能会价格更加敏感。
举一个搜索引擎学习CTR的例子
Map-reduce 并行化计算
就是将批量梯度下降算法的求和计算分配给整个集群
将训练集分成若干份,每一份在一个slave机器上跑,再汇总到master机器上
如果机器学习算法中有求和计算,就可以考虑用MapReduce进行优化
Mapreduce可以用于集群,数据中心,也可以用户多核的单机
- Coursera_机器学习_week10_笔记
- Coursera_机器学习_week11_笔记
- Coursera_机器学习_week1_介绍&Octave
- Coursera_机器学习_week3_逻辑回归
- Coursera_机器学习_week4&5_神经网络
- Coursera_机器学习_week7_SVM支持向量机
- coursera_机器学习_吴恩达_week1
- Coursera_机器学习_week6_机器学习应用建议
- Coursera_机器学习_week2_多变量线性回归
- 《机器学习》学习笔记
- 机器学习----学习笔记
- 机器学习学习笔记
- 机器学习 学习笔记
- 机器学习 学习笔记
- 机器学习 学习笔记
- 机器学习 学习笔记
- 机器学习 学习笔记
- 机器学习 学习笔记
- 1.1 爬下12306--爬取信息
- 空值处理
- 【VS开发】C++线程安全
- 谈谈小白理解的js中的原型链问题
- Android开发最佳实践---Futurice之见
- Coursera_机器学习_week10_笔记
- ATM机代码实现
- 隐藏输入法
- 统计一个字符串中大小写字母的个数,数字出现的个数
- 存储过程异常
- 神经网络Tips 和Tricks
- 禁止页面缓存的几种方法分享
- 遍历获取字符串的的每个字符
- Android笔记hm001