Ubuntu 16.04下Spark安装与开发环境搭建
来源:互联网 发布:华道数据催收工作好吗 编辑:程序博客网 时间:2024/06/06 17:25
一、Spark运行环境
Spark是Scala写的,运行在JVM上,所以运行环境Java7+,如果使用Python API,需要安装Python 2.6+或者Python3.4+,安装之前确认已经安装了Java,可参见本人博客:http://blog.csdn.net/lengconglin/article/details/77016911
这里注意版本对应问题,2.0以上都对应Scala2.11 Spark1.6.2-Scala 2.10 Spark 2.0.0 -Scala 2.11
二、下载Spark
下载地址为:http://spark.apache.org/downloads.html
搭建Spark不需要Hadoop,如有hadoop集群,可下载相应的版本
下载之后解压
cd ~/Downloads/ tar xzvf spark-2.2.0-bin-hadoop2.7.tgz mv spark-2.2.0-bin-hadoop2.7/ spark sudo mv spark/ /usr/lib/
三、配置Spark和.bashrc
cd /usr/lib/spark/conf/ cp spark-env.sh.template spark-env.sh gedit spark-env.sh
添加如下两行:
JAVA_HOME=/usr/lib/jdk/jdk1.8.0_144
SPARK_WORKER_MEMORY=4g
sudo gedit ~/.bashrcexport JAVA_HOME=/usr/lib/jdk/jdk1.8.0_144 export SPARK_HOME=/usr/lib/spark export PATH=$PATH:$JAVA_HOME/bin export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
可以打开终端进行测试,输入spark-shell:
四、IntelliJ IDEA 开发环境搭建
首先下载intellij idea,下载地址为:https://www.jetbrains.com/idea/
加压之后进入bin目录,打开终端运行 ./idea.sh 本人下载的是完全版,所以需要输入注册码:
1. 到网站 http://idea.lanyus.com/ 获取注册码。
2.填入下面的license server:
http://intellij.mandroid.cn/
http://idea.imsxm.com/
http://idea.iteblog.com/key.php
以上方法验证均可以。
可以在安装的时候就选择安装Scala插件,也可以之后在插件里面搜索安装Scala,具体如下:
File -> Settings -> Plugins 搜素Scala,找到插件安装,安装完成之后重启IDE
测试:File ->New -> Project… 弹出的对话框选择Scala -> SBT 之后设置名字,选择JDK,SBT和Scala版本:
点击Finish,然后耐心等待一段时间,后台需要下载相应依赖和代码,所以要保证网络环境良好。
- Ubuntu 16.04下Spark安装与开发环境搭建
- Ubuntu下Spark开发环境搭建
- Ubuntu下Spark开发环境搭建
- Ubuntu下Spark开发环境搭建
- Ubuntu下搭建spark集群开发环境
- Ubuntu 16.04 SPARK 开发环境搭建-- 伪分布版 与新建一个Spark版本的WordCount
- Ubuntu 16.04.3下FFmpeg编译与开发环境搭建
- Ubuntu伪分布式环境下Mahout安装与Eclipse开发环境搭建
- Ubuntu下Spark环境的搭建
- Spark在Ubuntu中搭建开发环境
- 在Ubuntu 16.04下搭建开发环境
- Ubuntu, Mac 下 Web 开发环境搭建:node.js, golang 与 revel 配置安装
- vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接 安装与问题处理
- Ubuntu下开发环境搭建
- Linux(ubuntu)下搭建Java开发环境 - 安装JDK
- Linux(ubuntu)下安装搭建Eclipse开发环境
- ubuntu下安装OpenGL并搭建OpenGL开发环境
- ubuntu 下安装eclipse,并搭建c++/c开发环境
- 通过jar中的pom查看冲突的jar包
- Lombok 安装、入门
- java多线程之可见性
- 开源项目
- springMVC配置说一二--------拦截器
- Ubuntu 16.04下Spark安装与开发环境搭建
- Linux下的tar压缩解压缩命令详解
- Redis初步整理
- Java 8的新特性
- 算法系列——逆置一个栈
- Java Web学习总结17: JSP中的九个内置对象
- 170905_Spring英文文档阅读(一)_2.2 Data Access/Integration_spring-tx
- RAC在LINUX上使用NFS安装前准备
- Java 数据结构(一)---排序(一) 插入排序