Spark入门三部曲之第三步Spark程序的开发和运行及WordCount
来源:互联网 发布:淘宝助理多店共享面单 编辑:程序博客网 时间:2024/09/21 08:17
编写wordcount程序
手动导入包:import org.apache.spark.SparkContext._
val conf = new SparkConf().setAppName(“wordCount”)// 创建一个Spark Context.
val sc = new SparkContext(conf)
val input = sc.textFile(“/home/spark/testfile/helloSpark”)// 加载数据
val words = input.flatMap(line => line.split(” “))// 把每一行分割成单词
val counts = words.map(word => (word, 1)).reduceByKey{case (x, y) => x + y}//转换成pairs 并且计数
counts.saveAsTextFile(“/home/spark/testfileResult/wordCountRes”)// 保存动作。
打包:
build->build artifacts->build
打成jar包,将jar包上传至spark集群上。
启动集群:
启动master
./sbin/start-master.sh
启动worker
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://ubuntu:7077
提交作业
./bin/spark-submit –master spark://ubuntu:7077 –class HelloSpark /home/spark/testjar/hellosbt.jar
提交后,可以在下面的ui上看作业的运行。
Spar job UI http://localhost:4040/
master的UI http://localhost:8080/
如果,有不清楚的地方,可以看我录制的spark入门视频,完全免费,
视频地址:http://www.bigdatastudy.cn/
- Spark入门三部曲之第三步Spark程序的开发和运行及WordCount
- Spark入门三部曲之第二步Spark开发环境搭建
- spark入门之wordcount
- Spark入门之WordCount
- Spark入门的WordCount
- idea运行spark的wordcount与eclipse运行spark的wordcount示例,及本地运行sparkpi
- Spark入门三部曲之第一步Spark基础知识
- 将java开发的wordcount程序部署到spark集群上运行
- Spark运行及入门
- Spark在Yarn上运行Wordcount程序
- spark集群上运行helloworld程序--WordCount
- Spark核心编程:使用Java和Scala开发wordcount程序
- IntelliJ Idea开发spark程序及运行
- spark程序入门-wordCount详解总结
- spark wordcount 提交运行
- Spark第一个程序开发 wordcount
- 使用eclipse开发spark程序 wordcount 事例
- 4.Spark Streaming:实时wordcount程序开发
- 猫猫学iOS 之微博项目实战(8)用AFNetworking和SDWebImage简单加载微博数据
- OpenCV入门笔记(五) 轮廓检测
- 【从头开始写操作系统系列】使用 Bochs 调试操作系统
- Understanding Java Garbage Collection
- 金刚石图纹
- Spark入门三部曲之第三步Spark程序的开发和运行及WordCount
- Python Requests快速入门
- Mysql数据库导出导入
- 2014年下半年阅读书单
- poj1469 二分图匹配学习
- 后台动态添加布局文件、控件与动态设置属性2
- Fair payment for all
- 线程的优先级与join方法
- UIView,UILabel,UIButton,