D27 Akka实现，及自定义RPC

来源：互联网发布：gta5卡怎么优化编辑：程序博客网时间：2024/06/14 01:56

一、Akka的Actor概述

目前大多数的分布式架构底层通信都是通过RPC实现的，RPC框架非常多，比如前我们学过的Hadoop项目的RPC通信框架，但是Hadoop在设计之初就是为了运行长达数小时的批量而设计的，在某些极端的情况下，任务提交的延迟很高，所有Hadoop的RPC显得有些笨重。

Spark 的RPC是通过Akka类库实现的，Akka用Scala语言开发，基于Actor并发模型实现，Akka具有高可靠、高性能、可扩展等特点，使用Akka可以轻松实现分布式RPC功能。

二、RPC

master和其他的worker在jvm平台上来通信

Actor是Akka中最核心的概念，它是一个封装了状态和行为的对象，Actor之间可以通过交换消息的方式进行通信，每个Actor都有自己的收件箱（Mailbox）。

通过Actor能够简化锁及线程管理，可以非常容易地开发出正确地并发程序和并行系统。

Actor具有如下特性：

1.提供了一种高级抽象，能够简化在并发（Concurrency）/并行（Parallelism）应用场景下的编程开发

2.提供了异步非阻塞的、高性能的事件驱动编程模型

3.超级轻量级事件处理（每GB堆内存几百万Actor）

三、实战：

①新建maven工程，自定义工程及版本号

②编写pom.xml，引入依赖包

③修改源码路径src/main/scala

<sourceDirectory>src/main/java</sourceDirectory><testSourceDirectory>src/test/java</testSourceDirectory>

<mainClass>Master</mainClass>

使用Akka.Actor实现rpc框架通信

A、创建Master

①构建Master类继承Actor

实现方法：

override def preStart(): Unit = {} //master的启动过程可以为空

override def receive: Receive = {} //用case来匹配收到的数据，实现业务逻辑

②实例化一个Master

实现方法：

    val host = args(0)
    val port = args(1).toInt           //读取输入的IP地址和端口号
    val configStr =
      s"""
|akka.actor.provider ="akka.remote.RemoteActorRefProvider"
|akka.remote.netty.tcp.hostname ="$host"
|akka.remote.netty.tcp.port ="$port"
""".stripMargin
    val config =ConfigFactory.parseString(configStr)        //设置配置的信息
//ActorSystem的老大，辅助创建监控Actor，单例对象
    val actorSystem =ActorSystem("MasterSystem", config)          //新建ActorSystem对象
    
    val MasterActor= actorSystem.actorOf(Props(newMaster),"Master")//Master的名字
MasterActor!"hello"
    actorSystem.awaitTermination()

B、创建Worker

①构建Worker类继承Actor

实现方法：

override def receive:Receive={
case"reply"=>{
      println("A reply from Master")           //与Master通信获得
}
}
//建立Worker到Master的链接，Worker启动后连接Master，读取master的Host和Port
  override def preStart():Unit={
    master = context.actorSelection(s"akka.tcp://MasterSystem@$masterHost:$masterPort/user/Master")
    master !"connect"
}

②实例化Worker：:

    val host = args(0)
    val port = args(1).toInt                //自身的ip地址和端口号
    val masterHost = args(2)
    val masterPort = args(3).toInt          //master的IP地址和端口号
    val configStr =
      s"""
|akka.actor.provider ="akka.remote.RemoteActorRefProvider"
|akka.remote.netty.tcp.hostname ="$host"
|akka.remote.netty.tcp.port ="$port"
""".stripMargin
    val config =ConfigFactory.parseString(configStr)
//ActorSystem的老大，辅助创建监控Actor，单例对象
    val actorSystem =ActorSystem("WorkerSystem", config)
    actorSystem.actorOf(Props(newWorker(masterHost, masterPort)),"Worker")//Master的名字
//MasterActor ! "hello"
    actorSystem.awaitTermination()
}