spark standalone模式配置

来源:互联网 发布:mac 软件推荐 编辑:程序博客网 时间:2024/03/29 14:12
spark-env.sh

export JAVA_HOME=/usr/local/jdk1.7
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=10.67.2.21
export MASTER=spark://10.67.2.21:7077
export SPARK_WORKER_CORES=1
export SPARK_LOCAL_IP=10.67.2.21


1.启动master

sbin/start-master.sh

2.启动slave

在conf/slaves中配上本机的主机名,如是ubuntu

并执行: ./start-slaves.sh --master spark://ubuntu:7077 --webui-port 8082

3.thriftserver启动

./start-thriftserver --master spark://ubuntu:7077


请注意:

1.需要在/etc/hosts配置主机名与ip的对应关系

2.如果是虚拟机的话,一定将ip配定死;不能够是DHCP动态IP;要不然在重新启动计算机后,ip发生了变化,可能会导致查询假死的问题(log中会报错连接不上hdfs的问题,用旧ip)


性能比较好的配置文件:


thriftserver启动时:


0 0
原创粉丝点击