CentOS 6.7 安装Scala 2.10.4 和 Spark 1.6.0
来源:互联网 发布:淘宝待清洗订单 编辑:程序博客网 时间:2024/06/07 08:51
CentOS 6.7 安装Scala 2.10.4 和 Spark 1.6.0
(一)首先安装 Scala
(1)官网下载Scala 2.10.4
(2)解压到制定目录 tar -zxvf scala-2-10-4
(3)修改环境变量 sudo vim /etc/profile
(4) 使得修改生效 sudo source /etc/profile
(5)测试scala 是否生效
scala -version
(二)安装SPARK 1.6.0
(1)官网下载安装包
(2)解压到指定文件夹
(3)修改系统配置文件 sudo /etc/profile
(4)修改SPARK配置文件,spark-env.sh 和slaves文件
(5)测试Spark
首先启动hadoop start-all.sh
启动spark start-all.sh (注意要到spark目录下输入start-all.sh命令,因为hadoop目录下也有一个start-all.sh命令)
此时在master机器上多了一个Master进程
Node节点上多了一个worker进程。
到spark sbin目录下输入:spark-shell
(6)此时测试启动时报错
提示指定文件找不到,需要新建该文件。
启动没有错误信息了。
访问master:8080网页
可以看到两个worker处于活动状态。
输入master:4040 查看sparkshell页面。
scala和spark部署完毕。
(7)通过spark shell 测试spark集群(统计单词次数)
把spark 目录下的README.md 文件传输到hdfs 的input文件夹内
hadoop fs -put README.md /input
查看文件是否已经传输好
文件已经传输到位
在spark-shell中输入命令
可以看到文件中单词“Spark”的出现次数。
花费的时间和出现的次数可见。此外访问spark-shell UI 可以看到出现一个已完成的任务。
至此,Centos 6.7 下Scala与Spark的基础运行环境配置完毕。
- CentOS 6.7 安装Scala 2.10.4 和 Spark 1.6.0
- centOS安装Scala和Spark
- Mac下安装Scala,sbt和Spark
- Ubuntu和Centos下安装Scala
- Scala && Spark 安装
- spark、scala安装配置
- 安装scala和spark遇到的问题和解决方法
- CentOS下安装Scala
- Scala-2.12.2和Spark-2.1.0安装配置(基于Hadoop2.7.3集群)
- Spark学习之Scala和idea工具安装
- 基于pyspark 和scala spark的jupyter notebook 安装
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置yuan
- CentOS 6.7安装Spark 1.5.2
- Spark 2.1.0 单机版 centos 安装
- centos 安装spark
- Spark 1.6.0 (Scala 2.11)版本的编译与安装部署
- spark-shell和scala错误
- 深入浅出RxJava三--响应式的好处
- Java设计模式(14)行为型:模板方法模式
- Mybatis传多个参数(三种解决方案)
- Android 布局文件单行显示,多余文字用“...”代替
- php的pow函数
- CentOS 6.7 安装Scala 2.10.4 和 Spark 1.6.0
- html5下input的placeholder标签兼容ie9
- [HDU1573] X问题
- ios 利用苹果OpenGLES截图,防止无法获取地图的layer层图像,或者黑屏
- token sign
- 大规模并发带来的挑战
- Linux下的串口编程(二)
- Android Studio 使用问题---导入aidl
- checkbox多选框在分页的时候能保留选择标记