D35 Spark源代码(待补充)
来源:互联网 发布:三星手机恢复软件 编辑:程序博客网 时间:2024/05/17 17:43
一、spark任务的执行流程:
二、spark-1.3.1的源代码解读(spark-core_2.10:1.3.1)2.10是Scala的版本,1.3.1是Spark的版本
spark启动流程
sbin/start-all.sh -> start-master.sh -> start-slaves.sh
sbin/start-master.sh -> 先读取变量 sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip $SPARK_MASTER_IP --port $SPARK_MASTER_PORT --webui-port $SPARK_MASTER_WEBUI_PORT
sbin/spark-daemon.sh -> /bin/spark-class $command "$@"
/bin/spark-class -> exec "$RUNNER" -cp "$CLASSPATH" $JAVA_OPTS "$@"
-------------------------------------------------------------------------------------------------------------
spark提交任务的过程
bin/spark-submit --class cn.itcast.spark.WordCount --master spark://node-1.itcast.cn:7077 --executor-memory 2g --total-executor-cores 4
exec "$SPARK_HOME"/bin/spark-class org.apache.spark.deploy.SparkSubmit -> exec "$RUNNER" -cp "$CLASSPATH" $JAVA_OPTS "$@"
重点来开一下spark-class org.apache.spark.deploy.SparkSubmit -》submit -》 doRunMain (args class cn.itcast.spark.WordCount ...)
--> Class.forName通过反射调用自定义类的main方法(只有一个进程)
三、sparkContext创建
val conf =new SparkConf().setAppName("WordCount")
//SparkContext的实例在SparkSubmit(Driver) 与Master建立链接,与RPC通信,DAGSchedule-->TaskScheduler
val sc =new SparkContext(conf)
四、SparkSubmit提交任务过程
待补充:一时半会儿理解不出来
阅读全文
0 0
- D35 Spark源代码(待补充)
- spark rdd api详解(待补充版)
- 计划(待补充)
- 操作系统(待补充)
- HMM资源(待补充)
- linux常用命令(待补充)
- 常用路径(待补充)
- 浅谈搜索(待补充)
- 字典树(待补充)
- vector实现(待补充)
- 内部类(待补充)
- gdb调试(待)补充
- AtomicInteger原理(待补充)
- 广义表(待补充)
- moive纹理(待补充)
- 二分查找(待补充)
- 闭包(待补充)
- 组合数取模(待补充)
- [HNOI2006]鬼谷子的钱袋
- mysql安装到第三步“Start Service“出现红叉,Could not start the service MySQL解决方法
- [剑指offer]包含min函数的栈
- 随手打印小纸条 小型便携萌趣纸条打印机使用评测
- 「网络流 24 题」餐巾计划
- D35 Spark源代码(待补充)
- USB在硬件设计是的注意事项
- NOIP2008~2016整合版题解
- javaIO整理
- 用delphi检查网络连接状态3种方式
- STL map相关学习整理
- CloudRAN 18A测试用例执行流程解析
- 【POJ】3421
- 通知根据电量颜色闪烁对应的颜色