Spark1.0.1sbt打包运行自己程序及问题解决
来源:互联网 发布:外贸海关数据购买 编辑:程序博客网 时间:2024/06/16 03:40
1.安装sbt并加入环境变量
http://www.scala-sbt.org/0.13/tutorial/Manual-Installation.html
2.创建simple.sbt
name := "Simple Project"version := "1.0"scalaVersion := "2.10.3"libraryDependencies += "org.apache.spark" %% "spark-core" % "1.0.1"resolvers += "Akka Repository" at "http://repo.akka.io/releases/"
3.创建Simple.scala
/* SimpleApp.scala */import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfobject SimpleApp { def main(args: Array[String]) { val logFile = "../README.md" // Should be some file on your system val conf = new SparkConf().setAppName("Simple Application") val sc = new SparkContext(conf) val logData = sc.textFile(logFile, 2).cache() val numAs = logData.filter(line => line.contains("a")).count() val numBs = logData.filter(line => line.contains("b")).count() println("Lines with a: %s, Lines with b: %s".format(numAs, numBs)) }}4. 文件如下
src simple.sbt (src/main/scala/SimpleApp.scala)
5. 运行 sbt package
6. 多了 project, target
7. 运行命令行
8.有如下错误查看日志可知文件不存在
9. 上传README.md到正确路径再次运行成功
10.运行成功 输出结果如下
0 0
- Spark1.0.1sbt打包运行自己程序及问题解决
- Spark1.01运行例子以及问题解决
- 打包运行自己的MapReduce程序
- Scala学习1之用sbt和脚本一步编译打包运行scala程序
- 使用idea sbt运行spark程序
- 把自己的java程序打包成jar包运行
- 编写自己的hadoop程序并打包运行
- Spark SQL程序SBT编译打包优秀博文总结
- sbt的安装以及用sbt编译打包scala编写的spark程序
- VS 运行程序问题解决
- 用 mvn package 打包及运行 MaxTemperature 程序
- 打包并运行程序
- java 程序 打包 运行
- java 程序打包+运行
- JAR打包及运行
- 基于spark运行scala程序(sbt和命令行方法)
- SBT命令打包流程
- Spark sbt-assembly 打包
- OpenGL+vs2010环境搭建
- autolayout
- 汪峰为上头条策划求婚 章子怡成炒作工具
- HDUJ 2069 Coin Change
- 快速排序算法
- Spark1.0.1sbt打包运行自己程序及问题解决
- Domain Name System (DNS)
- 关于开发板的nfs设置问题
- CF#256 (Div. 2) A.
- 父类的成员对象、父类、子类的构造函数的执行顺序
- HTML5+CSS3构建同页面表单间的动画切换
- bzoj1911: [Apio2010]特别行动队 斜率优化DP
- HDU 1877 又一版 A+B
- view pager auto scroll