2016 第2讲 Scala面向对象彻底精通及Spark源码阅读
来源:互联网 发布:网络语 打脸 什么意思 编辑:程序博客网 时间:2024/05/18 00:35
2016/1/2晚7点 准时参加了王家林老师的3000门徒的课程,
学习了Scala中的类、Object实战和Scala的抽象类、接口实战等内容。
相比前一讲第二讲的内容更深入了,难度更高了,如果初学者的话课后真需要好好消化,
包括自己之前看过也有必要把王老师以前的51CTO上的视频再翻出来看看,加以巩固。
关于第二讲的作业,读懂Spark Context和RDD至少70%代码的源码。
SparkContext 源码阅读
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/SparkContext.scala
RDD 源码阅读
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala
由于时间的关系,自己没有很仔细地阅读,只是看了看快速扫了下这两个类的内容,的确如老师讲的,基本能看懂70%以上的语法。
如果不是作业,或许自己真不会提前看源码。
阅读之后不难发现,源码中的英文解释,其实就是许多书中提到的知识点注意点,今后自己也会好好地细读这些Spark源码的。
这边简单地摘录了些自己的笔记,如下
//它是Spark功能的主要入口点。
//一个SparkContext代表连接到一个Spark集群,
//能在集群上创建 RDDs,累加器,广播变量。
//每个JVM只有是一个可以Active的。建新的之前要stop()活动的SparkContext.
classSparkContext(config:SparkConf)
// [spark]是一种保护的作用域,stopped 变量在当前spark包内是可见的,在包spark外不可见
private[spark]valstopped:AtomicBoolean=newAtomicBoolean(false)
……
1 0
- 2016 第2讲 Scala面向对象彻底精通及Spark源码阅读
- 第2讲:Scala面向对象彻底精通及Spark源码阅读
- Scala面向对象彻底精通及Spark源码阅读
- Scala面向对象彻底精通及Spark源码阅读
- Scala面向对象彻底精通及Spark源码阅读
- 3000门徒内部训练绝密视频(泄密版)第2课:Scala面向对象彻底精通及Spark源码阅读
- 第4讲:Scala模式匹配、类型系统彻底精通与Spark源码阅读
- 2016 第四讲 Scala模式匹配、类型系统彻底精通与Spark源码阅读
- 第3课:Scala函数式编程彻底精通及spark源码阅读
- 第3课:Scala函数式编程彻底精通及Spark源码阅读
- 第4集:Scala模式匹配、类型系统彻底精通与Spark源码阅读
- 第三课 Scala函数式编程彻底精通及Spark源码阅读
- 第五课:彻底精通Scala隐式转换和并发编程及Spark源码阅读
- 3000门徒内部训练绝密视频(泄密版)第3课:Scala中函数式编程彻底精通及Spark源码阅读
- 3000门徒内部训练绝密视频(泄密版)第5课:彻底精通Scala隐式转换和并发编程及Spark源码阅读
- 第四课 Scala模式匹配、类型系统彻底精通与Spark源码阅读
- Scala模式匹配、类型系统彻底精通与Spark源码阅读
- 第7课:零基础实战Scala面向对象编程及Spark源码解析
- Nodejs-模块定义
- 手势
- Android实现界面组件的抖动效果
- label实现左上角对齐
- 短信验证
- 2016 第2讲 Scala面向对象彻底精通及Spark源码阅读
- OC倒计时
- UML?类图中聚合和组合的区别
- metaclass 在 ORM中的使用
- 面向对象的设计模式(九),适配器模式
- Add Two Numbers
- 设计模式
- phonegap android app登录状态保存释疑
- Android中获取资源文件的几种方法