Apache Mesos【二】Apache Mesos底层基础库

Protocal Buffer是google开源的用于数据交换的库，常用于跨语言的数据访问，担任的角色一般为对象的序列化/反序列化。 另一个与之类似的开源软件是facebook开源的thrift，它们两个最大区别是thrift提供了自动生成RPC的功能而Protocal Buffer需要自己实现，但Protocal Buffer的一个优势是其序列化/反序列化非常高效。

1. Protocol buffer

Protocal Buffer是google开源的用于数据交换的库，常用于跨语言的数据访问，担任的角色一般为对象的序列化/反序列化。 另一个与之类似的开源软件是facebook开源的thrift，它们两个最大区别是thrift提供了自动生成RPC的功能而Protocal Buffer需要自己实现，但Protocal Buffer的一个优势是其序列化/反序列化非常高效。

2. Libprocess

libprocess是采用C/C++编写的高效消息传递编程模型（基于消息传递的网络通信模型，而不是RPC），由伯克利开源。 其整个实现非常简单，包括最基本的消息发送和接收等。

2.1 Libprocess模型

在mesos中，主要有四个角色，分别是：mesos-master，mesos-slave，framework（Hadoop/Spark /MPI等） scheduler，executor（在mesos-slave上执行framework task的组件），每种角色均是一个Process，在实现时会继承libprocess中的ProtobufProcess类（它又继承了 Process类），这样，它们均会编成一个后台运行且不断监听protocal buffer消息的socket server，如下图所示：

2.2 各种常用函数

Libprocess+protocol buffer组合是mesos最底层最重要的消息传递基础库（没有采用RPC机制），由于该库采用了基于Protocal Buffer消息传递的通信机制），因而非常高效。Mesos常用的两个头文件是libprocess\include\process下的 process.hpp和protobuf.hpp，这两个提供了用于消息传递的API，其中process.hpp是最核心的文件，提供了原始的接口， 而protobuf.hpp是在process.hpp基础上，加入了ProtocalBuffer对象参数，使ProtocalBuffer使用起来更 加容易。

(1) install

void install(void (T::*method)(P1C),P1 (M::*param1)() const);

安装一个处理ProtocalBuffer消息的handler，其中，消息类型是M，该消息对应的处理函数是method，函数参数为M::*param1。举例：mesos中slave/slave.cpp：

1. install( 

2.       &Slave::newMasterDetected, 

3.       &NewMasterDetectedMessage::pid); 

安装一个处理NewMasterDetectedMessage（ProtocalBuffer对象）的handler，mesos slave一旦接收到该消息，便会调用newMasterDetected函数处理， 且该函数的输入参数是NewMasterDetectedMessage消息中的pid属性。

1. void install(const std::string& name,void (T::*method)(const UPID&, const std::string&)) 

安装一个处理字符串的handler，也就是说，当收到字符串name后，调用函数method进行处理。这个API在mesos中的典型应用时维持master与slave之间的心跳，以确定彼此活着：

在slave/slave.cpp中：

1. install("PING", &Slave::ping); 

2.   

3. void Slave::ping(const UPID& from, const string& body) 

4. { 

5.   send(from, "PONG"); 

6. } 

在master/master.cpp中：

1. install("PONG", &SlaveObserver::pong); 

2.   void pong(const UPID& from, const string& body) 

3.   { 

4.     timeouts = 0; 

5.     pinged = false; 

6.   } 

7.   void timeout() 

8.   { 

9.     if (pinged) { // So we haven't got back a pong yet ... 

10.       if (++timeouts >= MAX_SLAVE_TIMEOUTS) { 

11.         deactivate(); 

12.         return; 

13.       } 

14.     } 

15.     send(slave, "PING"); 

16.     pinged = true; 

17.     delay(SLAVE_PONG_TIMEOUT, self(), &SlaveObserver::timeout); 

18.   } 

(2) send

1. void send(const process::UPID& to, const google::protobuf::Message& message) 

向某个UPID上发送消息，其中UPID代表一个socket，里面含有ip和port信息，而消息message是ProtocalBuffer定义的对象。

(3) dispatch

1. void dispatch(const UPID& pid, 

2.   const std::tr1::shared_ptr >& f) 

执行进程pid中的函数f，为了提高效率，该函数并不会等到函数f执行完成，而是采用了异步的方法：将函数f放入一个函数队列，由另外一个进程（或者多个）不断从队列中获取函数，依次执行。

(4) delay

1. Timer delay(double secs,const PID& pid,void (T::*method)()) 

延迟secs秒调度进程pid中的方法method，并返回一个计数器，通过这个计时器，可取消该调度。

在mesos中，巧妙地通过该函数构造了一个无限循环以不断检测空闲资源，并将之分配给各个框架，代码如下：

1. void Master::initialize() { 

2. …… 

3.   timerTickTimer = delay(1.0, self(), &Master::timerTick); 

4. } 

5. void Master::timerTick() { 

6.   …… 

7.   timerTickTimer = delay(1.0, self(), &Master::timerTick); 

8. } 

上面函数代码段可完成每1s调用一次timerTick函数的功能。

3. Boost

非常有名的开源C++基础库，里面的STL非常高效方便，已被很多著名软件采用。

4. Zookeeper

是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。 Mesos采用zookeeper解决master单点故障问题，使用zookeeper搭建一个master集群，当master出现故障时，选择一个 standby master 变为master。

5. glog

Google开源的C++日志库，主用于C++程序中打印日志，打印格式如下：

I0411 17:26:54.150193 20653 main.cpp:111] Creating “process” isolation module

I0411 17:26:54.150400 20653 main.cpp:119] Build: 2012-04-11 16:50:21 by root

I0411 17:26:54.150658 20653 main.cpp:120] Starting Mesos slave

I0411 17:26:54.152981 20669 slave.cpp:191] Slave started on 123.145.2.2:34694

I0411 17:26:54.153024 20669 slave.cpp:192] Slave resources: cpus=2; mem=490

6. gmock

开源 C++ 单元测试框架

7. 参考资料

（1）Mesos主页：http://www.mesosproject.org/index.html

（2）Mesos代码：https://svn.apache.org/repos/asf/incubator/mesos/trunk/