从spark源码的角度思考scala中的模式匹配

来源:互联网 发布:java c 效率 编辑:程序博客网 时间:2024/05/22 04:46


1.scala中模式匹配
2.spark源码中的模式匹配思考


spark中master会收到worker发过来的akka的消息,
此消息是case class即(Master.class中):

case class RegisterWorker(   id:String,   host:String,   port:Int,   cores:Int,   memory:Int,   webUiPort:int,   publicAddress:String)  extends DeployMessage{  Utils.chechkhost(host,"Required hostname")  assert(port >0 )}

在scala中实现case class最重要的有两个方法:
一:apply用于申请对象
二:unapply


scala在我们case class伴生对象中定义了这两个方法,
而apply用于对象的生成。我们在使用case class时并没有new case class,
而是直接使用,因为我们加上了apply方法,并不需要new关键字。
而unapply


Worker.scala当中:

private def tryRegisterAllMasters(){  for (masterAkkaUrl <- masterAkkaUrls){     LogInfo("Connecting to master " + masterAkkaUrl + "...")     val actor = context.actorSelection(masterAkkaUrl)     actor ! RegisterWorker(workerId,host,port,cores,memory,webUi.boundPort,publicAddress)  }}

这些信息会不经修改的经过akka传到master当中.
如果说apply方法是工厂方法来构建RegisterWorker
那么unapply就是析构模式或者结构,是将传进来的成员解构出来。


abstractor主要是从一个对象中提取相关成员,需要手动定义apply方法,这样的好处是对外暴露时只暴露对象的接口,而不暴露对象的实现;这样就可以做到很好的面相接口编程。
但和case class一样,在进行模式匹配时,也会调用unapply方法,unapply方法会接受数据类型,会返回一个数据类型,具体类型看我们怎样封装。
如果手动定义一个类,类中定义伴生对象的unapply方法的话,这样会带来很大的灵活性。


相关来源:DT大数据梦工厂,微信公众号是DT_Spark,每天都会有大数据实战视频发布,请您持续学习。
相关资料:
scala深入浅出实战经典完整视频、PPT、代码下载:
百度云盘:http://pan.baidu.com/s/1c0noOt6
腾讯微云:http://url.cn/TnGbdC
360云盘:http://yunpan.cn/cQ4c2UALDjSKy  访问密码45e2







0 0
原创粉丝点击