sbt的安装以及用sbt编译打包scala编写的spark程序
来源:互联网 发布:知画与永琪圆房的视频 编辑:程序博客网 时间:2024/04/28 00:34
众所周知,spark可以使用三种语言进行编写,分别是scala,phython,java三种语言,而且执行方式不同,Scala是用sbt编译打包,Java是用Maven进行编译打包,而phython则是用spark-submit提交运行。而sbt本身就是用scala进行编写的。这里记录以下自己在Linux下安装sbt的过程以及编译打包spark程序的流程,以做备忘。
1 .首先进入根目录创建相应的目录结构,执行下面的这些命令,这里-p参数表示创建多级目录
2 .之后通过cd 命令进入这里创建的scala目录下,通过vim SimpleApp.scala创建scala文件,里面是空的,添加下面这些内容,这个程序是用来统计一个文本中含有字母a和含有字母b的行数,这里指定的logFile是存放在Linux下的相应目录下,注意这里是///,这个logFile可以在windows下创建通过xftp4进行传输,也可以直接在linux下直接创建,这个内容是Spark压缩包中自带的
3 .之后在Linux下输入spark-shell,查看一下spark和scala对应的版本,记录下来,稍后会用到
4 .进入之前创建的sparkapp目录,通过vim simple.sbt创建一个sbt文件,这个文件用来指明之前创建的scala文件与spark之间的关系,主要是指定名字,spark,scala的相关版本,注意这里一定要和自己安装的版本对应起来。
5 .之后去这个网站下载sbt的jar包,下载后将其拷贝到/usr/local/sbt目录下,如果没有这个目录,通过mkdir -p创建这个目录,之后通过cd,进入这个sbt目录 http://www.scala-sbt.org/0.13/docs/zh-cn/Manual-Installation.html
6 .之后在这个sbt同级目录下,通过vim sbt创建sbt脚本,内容如下,这里主要指定Java虚拟机内存相关配置以及sbt jar包的位置
7 .之后执行chmod u+x sbt为sbt脚本增加可执行权限,其实这里没必要,因为我使用得是root用户,如果你是普通用户,那么一定要执行这条命令
8 .接下来验证下是否成功,执行./sbt sbt-version,这里需要等很长时间,取决于网速了,闲着无聊测了下大概有十分钟,够我打两盘炉石了,哈哈。。。
9 .玩了两盘炉石后回来发现出现下面这个内容,之后再次执行刚才的命令,出现下面这两张图,表示ok
10 .用sbt编译打包之前首先看一下包结构是否符合要求,只有符合要求的编译结构才能成功编译打包,执行下面命令查看
11 .之后进入之前存放jar包的目录,即/usr/local/sbt,执行sbt package命令进行打包,放心,这里又会等待漫长时间,又可以打两盘炉石了。。。。回来看
12 .最后显示这么一个信息,表示打包成功,打包的jar包放在了根目录下的sparkapp/target下面
13 .最后进入spark的bin目录,通过spark-submit命令将打包好的jar包提交到spark运行即可,见下图运行结果
14 .OK,以上就是在Linux下面sbt的安装以及如果用sbt编译打包一个spark程序的过程。
- sbt的安装以及用sbt编译打包scala编写的spark程序
- 用SBT编译Spark的WordCount程序
- 用SBT编译Spark的WordCount程序
- sbt 安装以及编译spark程序
- 了解、安装sbt,使用sbt(console、IDEA)以及IDEA中打包spark的jar包
- sbt 编译spark 的wordcount 程序
- 编写第一个用scala写的spark任务,用sbt打包成jar,并单机模式下运行
- linux中安装Sbt、编译scala程序
- Scala学习1之用sbt和脚本一步编译打包运行scala程序
- Spark SQL程序SBT编译打包优秀博文总结
- Mac下安装Scala,sbt和Spark
- 用IDEA创建sbt的Scala工程
- 子雨大数据之Spark入门教程---Spark的安装和使用sbt、maven打包代码 2.1
- Spark sbt-assembly 打包
- sbt的安装配置
- sbt打包的jar包提交到spark
- SBT(Scala Build Tool)系列教程-使用sbt构建第一个简单的HelloWorld程序
- sbt打包WordCount的过程
- java运行机制和一些很基础的知识
- lower_bound
- 关于解决阿里云,苹果审核ipv6
- js保存两位小数
- Android利用GradientDrawable定义动态的shape形状探索
- sbt的安装以及用sbt编译打包scala编写的spark程序
- <框架篇(3)>Spring框架中实例对象(bean)的创建方式(二)
- 时间函数
- vi命令
- UVA
- 在二叉查找树中插入节点
- @EqualsAndHashCode()注解详解
- GVIM&VIM Applying
- springmvc报错 org.springframework.web.servlet.DispatcherServlet