spark学习3 standalone下的 env和default的配置

来源：互联网发布：js获取字符串下标编辑：程序博客网时间：2024/06/01 10:50

spark-env文件的配置

HADOOP_CONF_DIR=/usr/hadoopARK_MASTER_IP=localhost.localdomainSPARK_MASTER_PORT=7077SPARK_MASTER_WEBUI_PORT=8080SPARK_WORKER_CORES=1SPARK_WORKER_PORT=7078SPARK_WORKER_MEMORY=1000mSPARK_WORKER_WEBUI_PORT=8081SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://localhost:9000/sparkhistory"

hadoopdir配置了读取的文件默认都是读取hdfs，如果都本地就注释掉重新进spark-shell
最后一行是spark历史存储路径参见(module)

worker节点的excuter数量

SPARK_WORKER_INSTANCES=1

worker节点配置

slaves文件
加入master和slaves

localhost.localdomain

spark-defaults.conf

spark.master                     spark://localhost.localdomain:7077#log存储地址要与history一致()参见configure sparkUIspark.eventLog.enabled           truespark.eventLog.dir               hdfs://localhost.localdomain:9000/sparkhistory

第一行配置后，可以直接
spark-shell 不用加–master神马的

history启动

/usr/spark/sbin/start-history-server.sh

spark-submit

spark-submit --help

就可以知道怎么用

0 0