spark集群配置
来源:互联网 发布:淘宝卖假货怎么投诉 编辑:程序博客网 时间:2024/06/06 08:50
说明:这个集群是基于hdfs的一个三个节点的集群配置
节点:192.168.128 nl01 ---master
192.168.1.2 nl02 --slave
192.168.1.3 nl03 --slave
一. 配置jdk scala
二. 配置zookeeper
三. 配置hadoop 集群
四. 配置spark集群
配置spark-env.sh
cp spark-env.sh.template spark-env.sh
vi conf/spark-env.sh
<!---
#基本配置jdk scal hdfs
JAVA_HOME=/home/hadoop/app/jdk1.8.0_73
JRE_HOME=$JAVA_HOME/jre
SCALA_HOME=/home/hadoop/app/scala-2.10.4
HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.4.0/etc/hadoop
#集群的基本配置
SPARK_MASTER_IP=nl01
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1000M
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
SPARK_WORKER_INSTANCES=1
--->
配置spark-defaults.conf
cp spark-defaults.conf.template spark-default.conf
vi spark-defaults.conf
#增加mask ip
spark.master spark://nl01:7077
配置slaves
scp slaves.template slaves
vi slaves
#增加slaves
nl02
nl03
拷贝:
scp -r spark--bin-2.6.0-cdh5.4.0/ nl02:/home/hadoop/app/
scp -r spark--bin-2.6.0-cdh5.4.0/ nl03:/home/hadoop/app/
启动master
./bin/start-master.sh
启动workers
./bin/start-slaves.sh
测试:
1. 访问:http://nl01:8080查看Workers
2. 执行spark-shell进入命令行
运行val textFile = sc.textFile("README.md")
textFile.count()
查看 是否得到正确的结果,
节点:192.168.128 nl01 ---master
192.168.1.2 nl02 --slave
192.168.1.3 nl03 --slave
一. 配置jdk scala
二. 配置zookeeper
三. 配置hadoop 集群
四. 配置spark集群
配置spark-env.sh
cp spark-env.sh.template spark-env.sh
vi conf/spark-env.sh
<!---
#基本配置jdk scal hdfs
JAVA_HOME=/home/hadoop/app/jdk1.8.0_73
JRE_HOME=$JAVA_HOME/jre
SCALA_HOME=/home/hadoop/app/scala-2.10.4
HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.4.0/etc/hadoop
#集群的基本配置
SPARK_MASTER_IP=nl01
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1000M
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
SPARK_WORKER_INSTANCES=1
--->
配置spark-defaults.conf
cp spark-defaults.conf.template spark-default.conf
vi spark-defaults.conf
#增加mask ip
spark.master spark://nl01:7077
配置slaves
scp slaves.template slaves
vi slaves
#增加slaves
nl02
nl03
拷贝:
scp -r spark--bin-2.6.0-cdh5.4.0/ nl02:/home/hadoop/app/
scp -r spark--bin-2.6.0-cdh5.4.0/ nl03:/home/hadoop/app/
启动master
./bin/start-master.sh
启动workers
./bin/start-slaves.sh
测试:
1. 访问:http://nl01:8080查看Workers
2. 执行spark-shell进入命令行
运行val textFile = sc.textFile("README.md")
textFile.count()
查看 是否得到正确的结果,
0 0
- spark配置:spark集群
- Spark集群配置
- Spark集群配置
- Spark集群环境配置
- spark集群配置错误
- spark集群配置
- Spark集群配置
- spark 集群配置
- spark集群配置
- Spark集群配置
- spark 配置:yarn集群
- Spark集群硬件配置
- spark集群环境配置
- spark ha集群配置
- spark standalone 集群配置
- spark集群参数配置理解
- 配置spark+hadoop(hdfs)集群
- spark集群安装与配置
- 基础控件
- Android学习必用-推荐大牛的博客
- Java序列化之关于Serializable的解释
- maven学习系列6----聚合与继承
- nginx的高级数据结构
- spark集群配置
- HDUOJ-1015 Safecracker(深搜)
- 【杭电oj】2795 - Billboard(线段树)
- ExtJS5 +Spring MVC CRUD
- 最简单的UIScrollView 下拉刷新思路
- 【每周一文】A Primer On Neural Network Models for NLP
- JSP内置对象
- Ubuntu创建启动快捷方式
- LeetCode #347. Top K Frequent Elements