Spark配置文件详解
来源:互联网 发布:网络四十部色情禁书 编辑:程序博客网 时间:2024/06/08 04:59
kwu --- Spark配置文件详解
1、主要环境配置文件 spark-env.sh
- export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
- export SPARK_MASTER_IP=10.130.2.20 #1
- export SPARK_MASTER_PORT=7077
- export SPARK_WORKER_CORES=24
- export SPARK_EXECUTOR_INSTANCES=1
- export SPARK_WORKER_MEMORY=48g
- export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
- export HADOOP_CONF_DIR=/etc/hadoop/conf/
- export SPARK_DAEMON_MEMORY=8G
- #export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bdc40.hexun.com:2181,bdc41.hexun.com:2181,bdc46.hexun.com:2181,bdc53.hexun.com:2181,bdc54.hexun.com:2181 -Dspark.deploy.zookeeper.dir=/spark" #2
- #export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/opt/modules/spark/recovery" #3
- export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:$HADOOP_HOME/lib/native
- export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native
- export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:$HADOOP_HOME/lib/native
- export SPARK_CLASSPATH=$SPARK_CLASSPATH:$HADOOP_HOME/lib/snappy-java-1.0.4.1.jar
说明 :
1) 单结点无容错的 standalone模式
2) 基于zookeeper的master的HA模式,故障自动切换
3) 基于文件系统的容错模式,故障后需手动重启
2、 基本配置文件 spark-defaults.conf
- spark.local.dir /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp
- spark.eventLog.enabled true
- spark.eventLog.dir hdfs://nameservice1/spark-log
1) 配置本地日志文件
2) 配置基于HDFS的历史日志文件储存
3、从节点的配置 slaves
- spark1
- spark2
- spark3
说明:给定slave节点相应的主机名
1 0
- Spark配置文件详解
- Spark配置文件详解
- spark学习 spark配置文件
- spark之5:配置文件
- Spark加载外部配置文件
- spark-defaults.conf配置文件
- spark之5:配置文件
- Spark详解
- spark详解
- spark详解
- spark详解
- 配置文件详解
- spark-streaming程序打包配置文件
- spark读取配置文件中的配置
- spark加载properties配置文件方法
- spark submit 多个配置文件
- install4j打包Spark详解
- spark RDD 详解
- 给button添加点击事件,打开一个新的窗体
- Ajax 请求实例
- hdu 1957 find the nth digit【二分查找】
- 多表数据记录查询
- 打个招呼
- Spark配置文件详解
- 用VNC 客户端如何查看openstack 创建的虚拟机
- 最小生成树Prim算法 堆优化
- Qt学习之给QPushButton添加菜单DefaultContextMenu方法
- 数据仓库以及Hive的使用总结
- hdoj 小Q系列故事——屌丝的逆袭 4500 (模拟) 水
- 蓝桥杯 算法训练 K好数(数位dp)
- 【NOIP2013模拟】导弹防御塔
- android AsyncTask介绍