随机梯度下降(Stochastic Gradient Descend, SGD)算法在大规模数据机器学习问题的使用

来源:互联网 发布:知乎回复越来越长 编辑:程序博客网 时间:2024/05/17 07:58

   最近在将自己的标注算法在更大规模100k图片数量的database上延伸, 传统的参数训练方法(LR, DML)不能直接使用, 由于 pairwise 数量平方增长, 直接训练模型参数是不可取的。 


参考去年以来large-scale based的文章, 发现SGD在参数获取过程中大量被使用, 已经成为工程化的基本处理流程之一。


先mark几篇理论性的科普文章, 有个大致了解

http://fuliang.iteye.com/blog/1482002

http://www.cnblogs.com/vivounicorn/archive/2012/02/24/2365328.html


另外SGD的简单工程实现(c/python接口)的, 请参考大牛Bottou教授的主页, 整个SGD实验最好在Linux下完成, windows下配置十分复杂...


原创粉丝点击