提交任务到spark集群及spark集群的安装

来源:互联网 发布:网络节点分为三类 编辑:程序博客网 时间:2024/05/12 17:16

/iflytek/server/spark/spark-2.0.0-bin-hadoop2.6/bin/spark-submit  //spark集群的安装目录的bin目录下的spark-submit命令

--class com.iflytek.Mtk  //项目的入口类

--master spark://192.168.76.15:7077  //master节点的网址

--executor-memory 5G  //运行内存

--total-executor-cores 5  //运行核数

/root/bigdata/mtk-1.0-SNAPSHOT.jar //项目jar包位置

name=Bayes  dataType=hdfsrecord actionType=train  modelSave=1> hfpan //入口类要传入的参数及运行人昵称

附上spark集群安装教程:

1 0
原创粉丝点击