IDEA下用SBT搭建Spark Helloworld
来源:互联网 发布:编写app需要什么软件 编辑:程序博客网 时间:2024/05/23 13:11
原文:http://www.linuxidc.com/Linux/2016-12/138698.htm
没用过IDEA工具,听说跟Eclipse差不多,sbt在Idea其实就等于maven在Eclipse。Spark运行在JVM中,所以要在Idea下运行spark,就先要安装JDK 1.8+ 然后加入Scala和Spark的依赖包就可以进行开发了,不要安装低版本的JDK。
先下载IDEA的社区版
https://www.jetbrains.com/idea/download/download-thanks.html?platform=windows&code=IIC
Scala、Spark环境
安装完后下载Scala插件
新建sbt工程
这里需要注意,如果选择Spark2.0以上,那么Scala要选2.11以上。因为我用的是Spark2.0.2,所以就选择2.11.1,选择JDK版本后确认。
工程创建成功后的目录
编辑build.sbt文件,添加Spark依赖
version := "1.0" scalaVersion := "2.11.1"
libraryDependencies+= "org.apache.spark" % "spark-core_2.11" % "2.0.2"
保存,等待下载完依赖的包。
PS: Scala版本对应的Spark可在官网查询
Helloworld
在project下 src/scala包下创建一个scala.class
helloworld.scala
上面代码目的是:在本地读取一个叫README.md的文件,通过Spark内存分析,计算字母“h”和字母“j”在文件中出现多少次。
运行代码
可能出现的错误:
java.io.IOException: Could not locate executable null\bin\winutils.exe in theHadoop binaries.
原因是缺少了winutils.exe文件,这个而且没有设置HADOOP_HOME
1. 下载hadoop到本机并添加bin目录到环境变量
http://hadoop.apache.org/releases.html
2. 下载winutils.exe文件,下载后放到hadoop的bin目录下
- IDEA下用SBT搭建Spark Helloworld
- idea sbt Spark环境搭建
- IDEA非sbt下spark开发
- 用Windows7+IDEA+SBT搭建Spark源代码调试与阅读环境
- Ubuntu+Spark+IDEA+SBT+scala项目搭建流程记录
- IDEA SPARK SCALA 搭建简单的helloworld
- Intellij idea下spark开发HelloWorld
- 从零搭建基于sbt和IDEA的远程spark调试工程
- IDEA搭建spark-scala的sbt编辑环境实现WorldCount练习
- Windows下使用sbt打造Intellij Idea环境下Spark源码阅读环境
- 使用idea sbt运行spark程序
- Window下spark开发环境搭建IDEA
- spark开发环境搭建intellij+Scala+sbt
- linux下搭建sbt环境
- 了解、安装sbt,使用sbt(console、IDEA)以及IDEA中打包spark的jar包
- Windows下IDEA,Git,SBT整合详解
- sbt创建spark程序(windows下)
- Mac下安装Scala,sbt和Spark
- Makefile 中:= ?= += =的区别
- 实验6-7
- gcc/g++基本内容
- Dl4j-fit(DataSetIterator iterator)源码阅读(七) 损失函数得分计算
- 有一个坑底的问题:一个jar包在tomcat8.X的问题
- IDEA下用SBT搭建Spark Helloworld
- Laravel笔记
- Java面试题全集(上)
- SimpleDateFormat的Date转String,String转Date,以及大小写区分
- Thinkphp安装
- JPA注解介绍
- 微信小程序点击手机号,拨打电话
- ssm框架下slf4j+log4j整合输出日志
- 给您支招,万网域名一元购,不再是梦