RDD计算过程

来源:互联网 发布:php默认登录页面 编辑:程序博客网 时间:2024/06/16 07:27

RDD的计算过程是在Driver端定义好的,之后分发至各计算节点,分为以下四步
1.在Driver节点上序列化代码
2.分发至各节点
3.在计算节点上反序列化
4.执行
如果是单机本地运行,那也是在独立的执行进程上运行,与Driver进程属于不同的进程,因此其变量作用域不能共享。

原创粉丝点击