Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置
来源:互联网 发布:美即面膜怎么样知乎 编辑:程序博客网 时间:2024/05/16 06:58
在上2篇文章中,完成了基础环境的安装以及Hadoop的安装配置基础上进行scala的安装配置。
3.8 Scala安装
注意scala2.11版本不支持spark1.*版本。
需要在3台服务器上都安装 Scala 。首先通过sftp将下载下来的 Scala 包上传到Master,
将Scala 压缩包 scala-2.10.4.tgz移动到/usr/local/program/目录下,并解压缩。
进入 scala-2.10.4下
3.8.1配置系统环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/program/jdk1.7.0_80
export JRE_HOME=/usr/local/program/jdk1.7.0_80/jre
export CLASS_PATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export HADOOP_HOME=/usr/local/program/hadoop-2.6.3
export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop
export SCALA_HOME=/usr/local/program/scala-2.10.4
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH
保存退出后source /etc/profile 使改动生效。
3.8.2验证是否安装成功
3.9 Spark安装
需要在3台服务器上都安装 Spark 。首先通过sftp将下载下来的 Spark 包上传到Master,
将Spark 压缩包 spark-1.6.0-bin-hadoop2.6.tgz移动到/usr/local/program/目录下,并解压缩。
进入 /usr/local/program/spark-1.6.0-bin-hadoop2.6下
3.9.1配置系统环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/program/jdk1.7.0_80
export JRE_HOME=/usr/local/program/jdk1.7.0_80/jre
export CLASS_PATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export HADOOP_HOME=/usr/local/program/hadoop-2.6.3
export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop
export SCALA_HOME=/usr/local/program/scala-2.10.4
export SPARK_HOME=/usr/local/program/spark-1.6.0-bin-hadoop2.6
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH
保存退出后source /etc/profile 使改动生效。
3.9.2配置spark环境
cd /usr/local/program/spark-1.6.0-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
export JAVA_HOME=/usr/local/program/jdk1.7.0_80/
export SCALA_HOME=/usr/local/program/scala-2.10.4
export SPARK_MASTER_IP=192.168.50.230
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop
3.9.3 配置slaves
cp slaves.template slaves
vi slaves
3.9.4 启动spark
cd /usr/local/program/spark-1.6.0-bin-hadoop2.6/sbin/
./start-all.sh
多了worker和master进程
3.9.5 验证安装结果
1、http://192.168.50.230:8080/
2、用yarn模式运行自带案例,计算pi值
cd /usr/local/program/spark-1.6.0-bin-hadoop2.6
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 1G --executor-memory 1G --executor-cores 1 lib/spark-examples-1.6.0-hadoop2.6.0.jar 40
另外在yarn监控页面上也能看到刚刚运行的进程
0 0
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置yuan
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-SparkR安装配置和Zeppelin安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-SparkR安装配置和Zeppelin安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin 安装过程-环境准备
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin 安装过程-环境准备
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Hadoop安装及测试
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Hadoop安装及测试
- spark、scala安装配置
- centOS安装Scala和Spark
- windows搭建spark运行环境(windows scala,hadoop,spark安装,idea使用配置等)
- Spark的安装和配置
- Scala && Spark 安装
- jdk,Python,Scala,hadoop,mysql,spark安装
- 安装scala和spark遇到的问题和解决方法
- spark的安装配置
- hadoop+spark的安装 配置 新手
- zeppelin 安装使用,测试spark,spark sql
- Linux_vim常用命令总结
- Vue.js要点记录(二)
- 【C++PrimerPlus】第10章
- SQL中的case when then else end用法
- javascript看书笔记
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置
- Effective C++ 第六章--继承与面向对象设计笔记
- arm-none-linux-gnueabi-gcc下载
- ios学习--热修复jspatch的使用及使用注意问题
- 解决listView设置 fadingEdge不管用,滑动到底部和底部时两边仍然有蓝色
- The method getContextPath() from the type HttpServletRequest refers to the missing type
- 只有使用 ACL 的 通配符掩码 才可以使用一条语句就可以 匹配出,奇数vlan的网段和 偶数vlan的网段,odd 奇数, even 偶数
- java之mybatis参数映射
- 从数组到HashMap之算法解释