Spark快速入门之SBT安装
来源:互联网 发布:教学实训软件 编辑:程序博客网 时间:2024/05/01 04:24
安装sbt
本文方法有些繁琐,可以查看github最新更新:用sbt编译spark源码
linux版本:CentOS6.7sbt: 0.13.9
Spark中没有自带sbt,需要手动安装sbt,我的方法是下载sbt-launch.jar,然后将源改为国内源(aliyun),我选择将sbt安装在/usr/local/sbt中。
$sudo mkdir /usr/local/sbt$sudo chown -R hadoop /usr/local/sbt #username is hadoop.$cd /usr/local/sbt$mkdir sbtlaunch #store sbt-launch.jar
1.下载sbt-launch.jar,并存放至/usr/local/sbt/sbtlaunch
$cd /usr/local/sbt/sbtlaunch$wget https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.9/sbt-launch.jar -O ./sbt-launch.jar #download sbt-launch.jar$unzip -q ./sbt-launch.jar #解压$
2.需要修改其中的./sbt/sbt.boot.properties文件,将[repositories]处修改为如下内容:
即增加一条aliyun-nexus的镜像。
$cd /usr/local/sbt/sbtlaunch$vim ./sbt/sbt.boot.properties
修改为如下
[repositories] local aliyun-nexus: http://maven.aliyun.com/nexus/content/groups/public/ jcenter: https://jcenter.bintray.com/ typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly maven-central
3.删除原来的sbt-launch.文件,然后重新打包
$rm ./sbt-launch.jar #delete the old jar$jar -cfM ./sbt-launch.jar . #create new jar
4.在/usr/local/sbt目录下创建sbt脚本文件并赋予可执行权限,来执行sbt-launch.jar
$cd /usr/lcoal/sbt$vim ./sbt #create sbt script
添加如下内容:
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"java $SBT_OPTS -jar `dirname`/sbt-launch.jar "$@" #dirname为路径名
my dirname : /usr/local/sbt/sbtlaunch
5.保存后,为./sbt增加可执行权限:
$chmod u+x ./sbt
6.最后检验sbt是否可用
$./sbt sbt-version
这一步请耐心等待,不要怀疑我天朝的网速,笔者出现第一条信息时等待了约10分钟,只要得到如下版本信息就没有问题:
7.创建hello world项目,并编译,打包,运行。
7.1 hello world的目录结构是:
代码如下:
$mkdir ~/simpleapp$mkdir ~/simpleapp/src$mkdir ~/simpleapp/src/main$mkdir ~/simpleapp/src/main/scala$vim SimpleApp.scala #内容如下
SimpleApp.scala
object SimpleApp{ def main(args: Array[String]){ println("Hello World!") } }
7.2 创建simple.sbt
$cd ~/simpleapp$vim ./simple.sbt #内容如下
simple.sbt内容如下:每一行之间空一行。scala version 和 spark版本信息根据所安装的spark所写。笔者安装的是spark2.1.0和scala 2.11.8。
name :="Simple Project"version :="1.0"scalaVersion := "2.11.8"libraryDependencies +="org.apache.spark" %% "spark-core" % "2.1.0"
7.3配置环境变量,编译和运行。
$vim ~/.bashrc #在开头添加如下内容:export PATH=/usr/local/sbt:$PATH$source ~/.bashrc #使之生效$cd ~/simpleapp$sbt compile #编译,等待很久,天朝龟速$sbt package #打包$/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar #将生成的jar包通过spark-summit提交到spark中执行
编译打包运行界面如下:
写在最后:
参考官网文档:手动安装sbt
参考给力星的博客:Spark快速入门指南
致谢。
0 0
- Spark快速入门之SBT安装
- Spark之sbt安装
- spark(1)-入门spark之scala sbt wordcount实验
- spark源码部署到eclipse之SBT安装部署
- ubuntu SBT(Spark)安装
- spark之1:快速入门
- Spark 之 快速入门指南
- spark之1:快速入门
- 子雨大数据之Spark入门教程---Spark的安装和使用sbt、maven打包代码 2.1
- sbt 安装以及编译spark程序
- Mac下安装Scala,sbt和Spark
- Spark快速入门指南 – Spark安装与基础使用
- Spark快速入门指南 – Spark安装与基础使用
- Spark快速入门指南 – Spark安装与基础使用
- Spark快速入门指南 – Spark安装与基础使用
- Spark快速入门指南 – Spark安装与基础使用
- spark学习5之sbt问题
- Spark快速入门指南
- 在有position: absolute;出现时margin:0 auto;是不起作用,如何居中?
- 苹果所有常用证书,appID,Provisioning Profiles配置说明及制作图文教程
- 机房那些事儿---数据库中删除数据失败的解决办法
- 欢迎使用CSDN-markdown编辑器
- HDU1520-Anniversary party
- Spark快速入门之SBT安装
- 通达OA清除redis缓存的命令,redis常用命令
- ActiveMQ 即时通讯服务 浅析
- (08)Java学习笔记——面向对象02——关键字this static
- Android属性动画完全解析(下),Interpolator和ViewPropertyAnimator的用法
- 证件照像素尺寸
- bellman-ford
- 单选按钮radio样式的改变
- Android基于SwipeMenuListView实现滑动删除功能