SPARK各种提交方式总结

来源：互联网发布：python和c语言编辑：程序博客网时间：2024/05/29 09:21

1，Spark SQL

1.1 spark sql运行在yarn之前注意在/etc/profile配置

export HADOOP_HOME=/data/hadoop/hadoop-2.7.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

1.2 需要将hive-site.xml拷贝到spark的conf下，如果hive 元数据用mysql存储需要将mysql-connector-java-5.1.15-bin.jar拷贝到spark的jars下

如果spark-sql 和hive 不在一个服务器上也可以通过Thrift Server方式运行

在hive 服务器上启动：nohup hive --service metastore > metastore.log 2>&1 &

在spark客户端上conf中配置hive-site.xml

<configuration>  <property><name>hive.metastore.uris</name> <value>thrift://datanode1:9083</value> </property></configuration>

./spark-sql --master yarn

可以通过下面命令运行在spark master上

./spark-sql --master spark://192.168.119.128:7077

2，Spark Shell

运行在yarn上之前需要注意配置HADOOP_CONF_DIR和 YARN_CONF_DIR

./spark-shell --master yarn

可以通过下面命令运行在spark master上
./spark-shell --master spark://192.168.119.128:7077

3, Spark Submit

wordcount运行在spark yarn上

./bin/spark-submit --class com.test.hadoop.SparkWordCountTest --master spark://192.168.119.128:7077 --executor-memory 512M --total-executor-cores 2 ../MRTest-1.0-jar-with-dependencies.jar hdfs://namenode:9000/word_test.txt

可以通过下面命令运行在spark master上

./bin/spark-submit --class com.test.hadoop.SparkWordCountTest --master yarn --executor-memory 512M --total-executor-cores 2 ../MRTest-1.0-jar-with-dependencies.jar hdfs://namenode:9000/word_test.txt

spark streaming也是通过submit 提交的，只不过程序中应用对象不同SparkStreamingContext

2 0