beam原理

来源:互联网 发布:中国汽车不出口知乎 编辑:程序博客网 时间:2024/05/16 23:59

一、关注beam 是怎样提交到不同的计算框架
spark:
1、工厂生成sparkcontext
2、算子转化为spark的算子
3、直接在本地单线程启动sparkcontext drvier
这里写图片描述

这里写图片描述
在本地启动drvier是不合适的。应该在spark 集群内,或者同一局域网内启动。
需要更详细和有力证据
没有考虑到部署的因素。

0 0
原创粉丝点击