spark 作业提交与hdfs调用

local模式2个cpu提交CLASSNAME ( scala  class 的名字）

spark-submit   --class  "CLASSNAME"  --master local[2]    jar包路径

Standalone

spark-submit  --class "cCLASSNAME"  --master spark://*.*.*.*:7077   --executor-memory 2G  --total-executor-cores  10   jar包路径

yarn

spark-submit  --class "CLASSNAME"  -master yarn-cluster  --executor-memory 2G  --num-executors 10  jar包路径

hdfs路径通过SparkMaster:50070查看

如hdfs://SparkMaster:9000/user/hadoop/input/README.md