ubuntu(16.10) spark安装
来源:互联网 发布:欧洲域名注册 编辑:程序博客网 时间:2024/06/05 10:06
ubuntu-64.10基本环境配置
1.安装JDK,下载jdk-8u111-linux-x64.tar.gz,解压到/opt/jdk1.8.0_111
下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
1)环境配置:
sudo vim /etc/profile/
在最后一行增加:
export JAVA_HOME=/opt/jdk1.8.0_111
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
2)输入:source /etc/profile 使得配置文件生效
3)验证java是否安装成功:java -version
看到java版本相关信息,则表示安装成功!
2.安装scala,下载scala-2.10.4.tgz,解压到/opt/scala-2.10.4
下地地址: http://www.scala-lang.org/
1)环境配置:
sudo vim /etc/profile/
在最后一行增加:
export SCALA_HOME=/opt/scala-2.10.4
export PATH=${SCALA_HOME}/bin:$PATH
2)输入:source /etc/profile 使得配置文件生效
3)验证scala 是否安装成功:scala -version
看到scala版本相关信息,则表示安装成功!
3.安装Spark
下载地址:http://spark.apache.org/downloads.html
安装spark,有两种安装方式
(1) 使用已经编译好的spark部署包安装
下载spark-1.6.0-bin-hadoop2.6.tgz,解压到/opt/spark-1.6.0-bin-hadoop.2.6
1)环境配置:
sudo vim /etc/profile/
在最后一行增加:
export SPARK_HOME=/opt/spark-1.6.0-bin-hadoop.2.6/
2)输入:source /etc/profile 使得配置文件生效
3)测试安装结果
打开命令窗口,切换到Spark的 bin 目录:
cd /opt/spark-1.6.0-bin-hadoop.2.6/bin/
执行 ./spark-shell, 打开Scala到Spark的连接窗口, 启动过程中无错误信息,出现scala>,启动成功
(2) spark源码编译安装
博客:spark源码编译安装
- ubuntu(16.10) spark安装
- Ubuntu 安装 spark
- Ubuntu-安装openfire+spark
- ubuntu安装spark
- ubuntu下安装spark
- Ubuntu 16.04 Spark安装
- ubuntu安装spark on yarn
- ubuntu SBT(Spark)安装
- ubuntu安装spark 2.1.0
- 安装Hadoop及Spark for Ubuntu 16.04
- Spark单节点安装-VirtualBox-Ubuntu-14.04
- Ubuntu 16.04安装Hadoop及Spark
- 安装Hadoop及Spark for Ubuntu 16.04
- 安装Hadoop及Spark(Ubuntu 16.04)
- ubuntu单机下安装配置spark
- spark ubuntu 分部署安装配置
- ubuntu下安装Spark(单机环境)
- 安装Hadoop及Spark(Ubuntu 16.04)
- c\c++ 参数传递
- 网页特殊符号HTML代码大全
- git 分支管理
- 设计模式之六大原则——开闭原则(OCP)
- 理解模块化和依赖管理(一)
- ubuntu(16.10) spark安装
- smarty 判断奇偶
- 《从零开始学Swift》学习笔记(Day 44)——重写属性
- iOS打印输出
- 创建数据库,并给指定账号授权
- 业务安全漏洞挖掘归纳总结一
- 如何添加numpy,matplotlib
- C++ 著名类库整理
- 摘要xml解析思想初识