spark standalone模式配置
来源:互联网 发布:mac 软件推荐 编辑:程序博客网 时间:2024/03/29 14:12
spark-env.sh
export JAVA_HOME=/usr/local/jdk1.7
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=10.67.2.21
export MASTER=spark://10.67.2.21:7077
export SPARK_WORKER_CORES=1
export SPARK_LOCAL_IP=10.67.2.21
1.启动master
export JAVA_HOME=/usr/local/jdk1.7
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=10.67.2.21
export MASTER=spark://10.67.2.21:7077
export SPARK_WORKER_CORES=1
export SPARK_LOCAL_IP=10.67.2.21
1.启动master
sbin/start-master.sh
2.启动slave
在conf/slaves中配上本机的主机名,如是ubuntu
并执行: ./start-slaves.sh --master spark://ubuntu:7077 --webui-port 8082
3.thriftserver启动./start-thriftserver --master spark://ubuntu:7077
请注意:
1.需要在/etc/hosts配置主机名与ip的对应关系
2.如果是虚拟机的话,一定将ip配定死;不能够是DHCP动态IP;要不然在重新启动计算机后,ip发生了变化,可能会导致查询假死的问题(log中会报错连接不上hdfs的问题,用旧ip)
性能比较好的配置文件:
thriftserver启动时:
0 0
- spark standalone模式配置
- spark本地模式和Standalone配置
- Spark standalone模式安装
- Spark Standalone模式
- 安装spark - standalone模式
- Spark Standalone模式部署
- spark standalone&&yarn模式
- Spark开发-Standalone模式
- Spark Standalone模式搭建
- Spark Standalone环境配置
- spark standalone 集群配置
- Spark Standalone模式应用程序开发
- spark standalone模式 zeppelin安装
- 005-spark standalone模式安装
- Spark Standalone完全分布模式
- spark+hadoop Standalone模式 搭建
- Spark -5:Standalone 集群模式
- spark standalone模式 环境搭建
- 类方法与对象方法
- 架构师都要懂哪些知识
- 调整mmecached的limi_maxbytes大小
- 交互设计技巧——创造好的用户体验(3)(翻译)
- PAT 1021. Deepest Root (25)
- spark standalone模式配置
- Lua 文件处理
- 动态手跟踪
- 来吧,就在今天,就在csdn
- android webview中java和js互调
- 将博客搬至CSDN
- 找出2-100之间的质数
- 【AC自动机+DP+高精度】Censored! _POJ1625
- vmstat命令