spark集群安装
来源:互联网 发布:网络捕鱼赌博游戏平台 编辑:程序博客网 时间:2024/06/05 00:24
这里是结合hadoop2.0使用的
1,download :http://spark.incubator.apache.org/downloads.html选择prebuilt:中hadoop2的下载,hadoop安装就不介绍了,spark节点可以不是hadoop节点,可以是一个hadoop客户端。
2,download scala,http://www.scala-lang.org/download/all.html根据下载的spark的README中的描述下载合适的版本
3,安装 其实就是解压,配置 /etc/profile环境变量
export SPARK_HOME=/data1/spark/spark
export SCALA_HOME=/data1/spark/scala-2.9.3
export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin
配置spark的conf下的spark-env.sh
export JAVA_HOME=/usr/java/default
export SCALA_HOME=/data1/spark/scala-2.9.3
export SPARK_MASTER_IP=192.168.0.1
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_WEBUI_PORT=8000
export YARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop
配置slaves(ip根据需要修改)
192.168.0.2
192.168.0.3
分发spark目录和scala目录到几台服务器相同路径下
4,启动
进入主节点的spark目录的bin下stop-all.sh是停掉集群,start-all.sh启动集群,jps可以在主节点看到master进程,slave节点看到worker进程
5, 运行程序,运行例子进入spark目录下
分布式运行
./run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077
./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1:7077
本地运行
./run-example org.apache.spark.examples.SparkPi local
./run-example org.apache.spark.examples.SparkLR local
- Hadoop集群安装spark集群
- Spark集群安装
- spark集群安装
- Spark集群安装
- spark HA集群安装
- Spark standalone集群安装
- Spark集群安装
- 安装spark集群
- Spark集群安装
- Spark集群安装部署
- Spark集群安装笔记
- Spark集群安装部署
- spark集群安装
- Spark集群安装指导
- spark集群安装
- spark集群安装
- Spark集群安装
- spark 集群安装
- linux下与windows下的换行符
- Ubuntu arm-linux-gcc 安装
- KMP算法(1)
- linux:设置tomcat开机自动启动
- 做员工难,做领导更难!(只有不断学习与进步才能够带好团队)
- spark集群安装
- Resharper6.0如何启用原VS的中文智能提示
- Linux 时钟管理
- struts2 体系结构
- Ubuntu安装MongoDB(非apt-get方式)
- 第十二章:数的判断
- AppCan移动快速开发平台是基于HTML5技术的跨平台快速开发解决方案
- lldb vs gdb 命令对比
- Java常用核心笔记