Distributed Machine Learning —— Parameter Server

来源:互联网 发布:深圳招聘淘宝美工学徒 编辑:程序博客网 时间:2024/06/05 03:19

GItBook的链接是我的一些读书笔记,欢迎大家一起来讨论。

Parameter Server for Distributed Machine Learning,NIPS 2013 worksshop

知乎上看到最多的一篇。中间关于convergence的推导我还没完成,但是大致思路差不多。

GitBook


Communication Efficient Distributed Machine Learning with the Parameter Server,NIPS 2014

提出了Delayed Block Proximal Method,使用了 1)block(每个worker每次update 1 block of parameter 2) bounded-delay和 3)用户自定义filter来放宽数据一致性。 和2013年最早的那一篇相比,感觉大方向都一致,然后将block特性和filter描述的更加详细。

GitBook


Scaling Distributed Machine Learning with the Parameter Server,OSDI 2014

这篇OSDI上的文章就更加倾向于系统介绍,和前面一篇互为补充。在一致性、容错上描述更多,ranged-based vector clock,anticlockwise neighbour,replication。还提到了会和YARN类似的资源管理器合并。

GitBook

1 0
原创粉丝点击