Spark大数据开发之旅之二:软件安装
来源:互联网 发布:js删除数组指定下标 编辑:程序博客网 时间:2024/05/21 20:23
在《Spark大数据开发之旅之一:准备工作》中,我们简单介绍了Spark大数据分析涉及到的软件,这一节中,我们介绍一下这些软件的安装。
一、安装JDK8
我之前的一篇文章中,介绍了如何使用apt方式安装JDK8,这里我们使用解压安装的方式安装JDK8。
1、解压到安装路径。上一节中,我们已经将JDK8下载到/usr/lib中。这里的路径没有限制,有人喜欢安装在/usr/lib下,有人喜欢安装在/usr/local下。我们这里安装在/usr/local下。
tar -zxvf /usr/lib/jdk-8u152-linux-x64.tar.gz /usr/local
2、配置jdk
linux下配置jdk的环境变量很简单,和windows下面很相似。编辑.bashrc文件即可。bashrc是一个系统启动文件,因为是一个隐藏文件,所以前面加了一个点。另外它在root的根目录下,所以需要加~。好了,使用nano或vim打开都可以,我这里使用nano打开编辑。
nano ~/.bashrc
加入以下内容
export JAVA_HOME=/usr/local/jdk-8u152
export CLASS_PATH=${JAVA_HOME}/local:${JAVA_HOME}/jre/local
export PATH=${PATH}:${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin
有linux基础的很容易看明白上面的内容,没有linux基础的也可以类比windows的环境变量设置。实际上不同的地方在于用:分隔,而windows使用;隔开。当然还有一个就是每一句前面加一个export,这是linux的语法,就是写入系统变量。以后所有的系统变量都可以这样写。
写好之后,让系统变量立即生效,可键入如下命令:
source ~/.bashrc
然后测试一下
echo ${JAVA_HOME}
测试一下java
出现上图,就表示jdk已经配置好了。
二、安装scala
Spark大数据分析语言很多,但是推荐的是scala,但是根据项目具体的情况,也可以使用python和java。我们这里采用scala。
scala是一门独立的语言,并非依赖Spark。我们如同安装JDK一样的安装它。
先下载到/usr/local目录下
cd /usr/local
wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz
接着解压
tar -zxvf scala-2.10.4.tgz
接下来是配置系统变量
nano ~/.bashrc
添加下面的内容
export SCALA_HOME=/usr/local/scala-2.10.4
修改PATH变量
export PATH=${PATH}:${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin:${SCALA_HOME}/bin
配置完成,照例让系统变量立即生效
source ~/.bashrc
测试一下
scala -version
运行scala程序,在命令行直接键入scala
我们输入了简单的计算1+1,scala返回了2。
三、安装hadoop
未完待续。。。
- Spark大数据开发之旅之二:软件安装
- Spark大数据开发之旅之一:准备工作
- 大数据之Spark
- 大数据技术之Spark
- Spark修炼之道(基础篇)——Linux大数据开发基础:第四节:Linux文件系统(二)
- Spark修炼之道(基础篇)——Linux大数据开发基础:第十节:Shell编程入门(二)
- Spark修炼之道(基础篇)——Linux大数据开发基础:第四节:Linux文件系统(二)
- Spark修炼之道(基础篇)——Linux大数据开发基础:第十节:Shell编程入门(二)
- 大数据开源框架之二:Berkeley Data Analytics Stack(tachyon, spark, shark, spark streaming)
- 大数据时代多表关联数据同步之SPARK实现(二)
- 大数据之Spark集群部署
- 大数据盘点之Spark篇201512
- 大数据盘点之Spark篇
- spark快速大数据分析之读书笔记
- 大数据之” Hadoop,Spark和Storm
- 初识Spark之 大数据技术提要
- 大数据框架之Spark框架
- ERP软件开发架构之二 数据访问层设计
- 魅族手机安装不上APK问题
- NOIP2017 day0
- 在GPU核函数中,为什么数值型变量可以和数组型变量相互赋值, CPU中不可以
- mysql 优化学习二
- c/c++语言链表的初级认识
- Spark大数据开发之旅之二:软件安装
- NOIP2017 复赛游记
- 音视频相关文章查阅资料汇总篇-后期不断完善更新
- NOIP2003 加分二叉树
- opencv学习笔记三
- 走啦
- Anglar js选项卡
- 论网站更新与seo优化的关系
- Xcode9学习笔记48