从spark源码的角度思考scala中的模式匹配
来源:互联网 发布:java c 效率 编辑:程序博客网 时间:2024/05/22 04:46
1.scala中模式匹配
2.spark源码中的模式匹配思考
spark中master会收到worker发过来的akka的消息,
此消息是case class即(Master.class中):
case class RegisterWorker( id:String, host:String, port:Int, cores:Int, memory:Int, webUiPort:int, publicAddress:String) extends DeployMessage{ Utils.chechkhost(host,"Required hostname") assert(port >0 )}
在scala中实现case class最重要的有两个方法:
一:apply用于申请对象
二:unapply
scala在我们case class伴生对象中定义了这两个方法,
而apply用于对象的生成。我们在使用case class时并没有new case class,
而是直接使用,因为我们加上了apply方法,并不需要new关键字。
而unapply
Worker.scala当中:
private def tryRegisterAllMasters(){ for (masterAkkaUrl <- masterAkkaUrls){ LogInfo("Connecting to master " + masterAkkaUrl + "...") val actor = context.actorSelection(masterAkkaUrl) actor ! RegisterWorker(workerId,host,port,cores,memory,webUi.boundPort,publicAddress) }}
这些信息会不经修改的经过akka传到master当中.
如果说apply方法是工厂方法来构建RegisterWorker
那么unapply就是析构模式或者结构,是将传进来的成员解构出来。
abstractor主要是从一个对象中提取相关成员,需要手动定义apply方法,这样的好处是对外暴露时只暴露对象的接口,而不暴露对象的实现;这样就可以做到很好的面相接口编程。
但和case class一样,在进行模式匹配时,也会调用unapply方法,unapply方法会接受数据类型,会返回一个数据类型,具体类型看我们怎样封装。
如果手动定义一个类,类中定义伴生对象的unapply方法的话,这样会带来很大的灵活性。
相关来源:DT大数据梦工厂,微信公众号是DT_Spark,每天都会有大数据实战视频发布,请您持续学习。
相关资料:
scala深入浅出实战经典完整视频、PPT、代码下载:
百度云盘:http://pan.baidu.com/s/1c0noOt6
腾讯微云:http://url.cn/TnGbdC
360云盘:http://yunpan.cn/cQ4c2UALDjSKy 访问密码45e2
0 0
- 从spark源码的角度思考scala中的模式匹配
- 第74讲:从Spark源码的角度思考Scala中的模式匹配学习笔记
- 第74讲:从Spark源码的角度思考Scala中的模式匹配
- Scala深入浅出进阶经典 第74讲:从Spark源码的角度思考Scala中的模式匹配
- Spark源码中的Scala模式匹配编程和Scala模式匹配编程操作实战
- Scala模式匹配、类型系统与Spark源码阅读
- 从源码角度看Spark on yarn client & cluster模式的本质区别
- Spark基础-Scala模式匹配
- Scala中的模式匹配
- 第9节:从spark源码角度分析scala面向对象思想
- 大数据Spark “蘑菇云”行动前传第13课Scala模式匹配实战和Spark源码鉴赏
- 大数据Spark“蘑菇云”行动-第13课Scala模式匹配实战和Spark源码鉴赏
- Scala的模式匹配
- scala的模式匹配
- Spark学习笔记4-Scala模式匹配
- Scala中的模式匹配match
- 【Scala】Scala中的match、case模式匹配
- 2016 第四讲 Scala模式匹配、类型系统彻底精通与Spark源码阅读
- Struts配置参考
- 【POJ3181】【Dollar Dayz】
- 周赛-The Number Off of FFF
- 黑马程序员——面向对象
- LeetCode146:LRU Cache
- 从spark源码的角度思考scala中的模式匹配
- Ubuntu安装Oracle JDK 1.7或以上
- 【练习笔记】剑指offer-面试题10 :二进制中1的个数
- sql server webservice 服务应用及验证
- hdu 5336 XYZ and Drops
- poj 2762 Going from u to v or from v to u? 【判断图是否为弱连通】 【tarjan求SCC + 缩点 + 拓扑排序】
- 基本固件框架的追踪研读之SETUP命令的处理4
- HTTP的GET和POST格式解析
- Matlab-计算协方差