IDEA搭建spark-scala的sbt编辑环境实现WorldCount练习
来源:互联网 发布:太阳神三国杀源码教程 编辑:程序博客网 时间:2024/06/13 04:50
1:打开IDEA先安装scala 插件 ---》File--Settings--Plugins--搜索scala 安装后关闭IDEA重启后如下图
2:新建Scala项目 File--New--Project--选择Scala--SBT
3:注意版本号的选择--点击finish就构建好了基本scala结构
在这里插一句话如果要是和Spark联合使用那么版本号很重要!!!可以查阅spark官网来看spark-scala的匹配版本号我的spark是2.2.0所以匹配的是2.11
打开新建的项目配置build.sbt文件
新建WorldCount :main下的scala--右键new--ScalaClass
写代码:
import org.apache.spark.{SparkConf, SparkContext}object WorldCount { def main(args: Array[String]) { val conf=new SparkConf().setAppName("wordcount") val sc=new SparkContext(conf) val input=sc.textFile("/test/helloSpark.txt") val lines=input.flatMap(line=>line.split(" ")) val count=lines.map(word=>(word,1)).reduceByKey{case (x,y)=>x+y} val output=count.saveAsTextFile("/test/helloSparkRes") }}打jar包File--project structure
上图第一个框为项目;第二个为类;第三个为去除jar包至提取核心代码
把jar包考入spark集群中
jar包位置在你的项目路径out下
加入你已经搭建好了spark集群(scala2.11+spark2.2.0)
./start-master.sh
./spark-class org.apache.spark.deploy.worker.Worker spark://Master:7077
spark-submit --master spark://Master:7077 --class WorldCount /test/spark/untitled1.jar
阅读全文
0 0
- IDEA搭建spark-scala的sbt编辑环境实现WorldCount练习
- spark: scala实现worldcount
- idea sbt Spark环境搭建
- spark开发环境搭建intellij+Scala+sbt
- Ubuntu+Spark+IDEA+SBT+scala项目搭建流程记录
- 0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
- 2017.10最新Spark、IDEA、Scala环境搭建
- 配置IntelliJ IDEA 13的SBT和Scala开发环境
- 配置IntelliJ IDEA 13的SBT和Scala开发环境
- 配置IntelliJ IDEA 13的SBT和Scala开发环境
- 配置IntelliJ IDEA 13的SBT和Scala开发环境
- IDEA SPARK SCALA 搭建简单的helloworld
- idea + scala + maven/sbt环境配置
- 构建scala+IDEA+sbt开发环境
- 使用sbt搭建Scala开发环境的总结
- scala学习之:SBT的akka环境搭建
- 利用Intellij IDEA构建Spark开发环境(包括scala环境的搭建)
- IDEA下用SBT搭建Spark Helloworld
- HDU-1978 How many ways (二维线性dp)
- Linux 搭建局域网邮件服务器,建立本地邮局
- smarty模板引擎之变量的调用
- 计蒜课:整数转换成罗马数字
- MS SQL PHP Generator(PHP脚本自动生成软件) v17.10.1官方版下载
- IDEA搭建spark-scala的sbt编辑环境实现WorldCount练习
- java发展进程
- HBase源码系列(七)WAL与日志恢复
- 学习笔记—Optimization algorithms
- 文章标题
- java/11.11日/笔记
- Matlab中求序列的极值
- 十九大后首访收官 习近平担当“中国故事第一讲解人”
- Technical Support Site