Spark配置参数

Spark env的配置参数：

export JAVA_HOME=/usr/local/jdk1.7.0_45

export SPARK_MASTER_IP=node
export SPARK_WORKER_INSTANCES=2 #设置每一个节点的worker数目，现在已经过期
export SPARK_WORKER_MEMORY=2g    #设置每一个worker的内存
export SPARK_EXECUTOR_INSTANCES=2  #设置每一worker启动executor数目
export SPARK_DRIVER_MEMORY=1g   #设置driver内存
export SPARK_EXECUTOR_CORES=1  #设置每一个executor的核心数
export SPARK_EXECUTOR_MEMORY=1g # 每一个executor的新村
export SPARK_WORKER_CORES=2  #设置每一个worker的核心数
export HADOOP_CONF_DIR=/home/daxin/bigdata/hadoop/etc/hadoop