最近比较火的parameter server是什么？

作者：Superjom
链接：https://www.zhihu.com/question/26998075/answer/40577680
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

看看李沐的文章 《Parameter Server for Distributed Machine Learning》里面有包含他的框架的一些介绍。

后面有看到微软研究院 project Adam的论文，大体思路比较相似，但论文中细节比较丰富，也会互补的一些信息描述下。

概念：

参数服务器是个编程框架，用于方便分布式并行程序的编写，其中重点是对大规模参数的分布式存储和协同的支持。

工业界需要训练大型的机器学习模型，一些广泛使用的特定的模型在规模上的两个特点：

1. 参数很大，超过单个机器的容纳能力（比如大型Logistic Regression和神经网络）

2. 训练数据巨大，需要分布式并行提速（大数据）

这种需求下，当前类似MapReduce的框架并不能很好适合。

因此需要自己实现分布式并行程序，其实在Hadoop出来之前，对于大规模数据的处理，都需要自己写分布式的程序（MPI）。 之后这方面的工作流程被Google的工程师总结和抽象成MapReduce框架，大一统了。

参数服务器就类似于MapReduce，是大规模机器学习在不断使用过程中，抽象出来的框架之一。重点支持的就是参数的分布式，毕竟巨大的模型其实就是巨大的参数。

Parameter Server(Mli)

----------------------------

架构：

集群中的节点可以分为计算节点和参数服务节点两种。其中，计算节点负责对分配到自己本地的训练数据（块）计算学习，并更新对应的参数；参数服务节点采用分布式存储的方式，各自存储全局参数的一部分，并作为服务方接受计算节点的参数查询和更新请求。

简而言之吧，计算节点负责干活和更新参数，参数服务节点则负责存储参数。

冗余和恢复：

类似MapReduce，每个参数在参数服务器的集群中都在多个不同节点上备份（3个也是极好的），这样当出现节点失效时，冗余的参数依旧能够保证服务的有效性。当有新的节点插入时，把原先失效节点的参数从冗余参数那边复制过来，失效节点的接班人就加入队伍了。

并行计算：

并行计算这部分主要在计算节点上进行。 类似于MapReduce，分配任务时，会将数据拆分给每个worker节点。

参数服务器在开始学习前，也会把大规模的训练数据拆分到每个计算节点上。单个计算节点就对本地数据进行学习就可以了。学习完毕再把参数的更新梯度上传给对应的参数服务节点进行更新。

详细的流程：

1.

分发训练数据 -> 节点1

节点2

节点3

...

节点i

...

节点N

2.

节点i 学习过程：

遍历本地的训练数据，统计所有需要的参数(key)

向分布式的参数服务器查询需要的参数（注意，本地数据对应到的参数只是全局参数的一小部分）

得到查询到的参数值，用于模型的本地训练

一轮训练完毕，得到所有对应参数的更新，将更新上传给参数服务器

3.

参数服务器更新参数过程：

参数服务器得到计算节点传过来的局部更新，汇总后更新本地数据

一些细节还是看李沐的文章吧，这个模型相对其他的一些参数服务器的框架是最简单直观的。

Project Adam

------------------

微软研究院的一个专门用于deep learning的参数服务器，很厉害的样子。用了很多trick来提升性能和容纳更大的模型和数据，当然精度也随之上升了很多。

大体的架构和Parameter Server(Mli)的比较相似，但论文里面包含了比较丰富的细节，可以跟之前的内容互补一下。

相似点

• 同样拆分为计算节点(worker)和参数服务节点(parameter server)，参数分布式存储
• 均采用冗余，每个参数会保存3份，当某参数对应的服务节点失效，服务会转到该参数对应的部分节点上（2选1）

其他点

Parameter Server 构成

参数服务器中，分布式存储参数的部分，包含两类节点：

Parameter Server(PS): 这类节点负责具体参数的分布式存储

Parameter Server Controller(PSC): 这类节点负责路由和冗余容灾和失效恢复等操作

换句话说，PSC是PS的管理者。 Adam中节点控制的灵活性全在PSC中。

路由机制

project Adam中使用了路由来确定每个参数的存储位置。

路由信息由PSC（其实是多个一致的节点来支撑整个集群的工作）。

计算节点在每次访问和更新参数前，先向PSC询问最新的路由信息，然后将参数按目标位置拆分发送。

而当PS中出现节点变化（节点失效或者添加，类似MapReduce，PSC也会定期PING每个PS来确认节点有效状态），PSC会修改路由，并提供最新的路由信息给计算节点。

冗余机制

前面说到，每个参数会在PS集群中有三个副本，存储在不同的节点上来实现冗余。

其中一个节点会被选为primary，来提供针对某个参数的服务。

当这个节点失效时，另外两个副本中会被挑选出一个作为新的primary，来继续此参数的服务。 这是容灾的第一步

恢复机制

前面说到，冗余机制是容灾第一步。

长久之计是将目前状态恢复到失效之前（目前该参数只有两个副本，需要恢复到3个），这就需要PSC的控制，将失效节点上的参数拆分到其他active的节点上备份（如此就恢复成了三个副本）

当然，如果有新节点的加入，也需要在PSC注册登记，之后PSC可以分配部分参数过去并修改路由。

有趣的trick

• 单机上，使用指针传递来避免内存复制
• 集群中通信，单个机器在传递多个进程的信息传递请求前，会通过相同的发送目标节点来归纳这些消息，之后一并发送请求。
• 无锁写入。这个也许会带来写冲突，但是概率比较低，而且深度神经网络天生可以忍受噪音

更多的信息可以搜索 project Adam，论文里面细节比较容易懂，还有一段录像讲解。

一个简单的实现：SwiftSnails

---------------------------------------------------

这是我写一个小的参数服务器，比较简单，代码也比较少。 没有用MPI，自己实现路由分发啥的，有种解放前小米加步枪的感觉。里面有个Word2Vec的分布式实现作为Demo，效率还是不错的。 有兴趣的可以看看 。

项目地址： Superjom/SwiftSnails

Reference:

Parameter Server for Distributed Machine Learning

http://parameterserver.org/

Project Adam: Building an Efficient and Scalable Deep Learning Training System

http://superjom.duapp.com/big-data/parameter-server-for-distrubuted-machine-learning.html