Mac下使用Spark-shell实现WorldCount
来源:互联网 发布:网络延迟怎么解决 编辑:程序博客网 时间:2024/06/05 01:09
记录一下用spark自带的例子跑Worldcount项目(注:mac下运行会省略hdfs读取文件的步骤,若在linux下运行请先用hdfs读取本地文件再进行操作)
开启hadoop
#进入hadoop所在文件夹下sbin/start-all.sh
使用jps查看情况,确认namenode和datanode都开启成功
jps
开启spark-shell
#进入spark文件夹下bin/spark-shell
读取要计数的文件
val file = sc.textFile("/example.txt")
通过” “将单词分开,并通过map和reduce进行分类计数
val counts = file.flatMap(line=>line.split(" ")).map(word=>(word,1)).recudeByKey(_+_)
将计数结果保存在文档中
counts.saveAsTextFile("/spark-output")
查看计数过程和结果
counts.count()counts.foreach(println)
可以进入对应路径查看文件,这里我们看到文件夹下有三个文件
_SUCCESS
part-00000
part-00001
文件里为对应的单词及计数结果:
0 0
- Mac下使用Spark-shell实现WorldCount
- spark: scala实现worldcount
- 在spark下用pyhton写worldCount
- IDEA搭建spark-scala的sbt编辑环境实现WorldCount练习
- spark Streaming编写一个WorldCount的例子
- 使用Hadoop运行WorldCount示例
- Spark学习--spark-shell使用
- Mac下使用XMPP即时通讯【2】:安装XMPP和Spark
- Mac 下使用Spark不能加载本地Hadoop库问题解决
- Spark Shell简单使用
- mac下安装配置Spark
- mac下spark环境搭建
- Spark学习(一)---Spark-shell使用
- spark-shell简单使用示例
- mac下shell常用操作
- mac 下Shell终端配置
- 在MAC下基于Openfire和Spark的XMPP协议实现
- Mac 上使用 Shell 脚本 + adb shell 实现简单的 Android 模拟点击自动化测试
- 背包问题
- ExecutorService深入理解
- Codeforces 803 B. Distances to Zero (模拟
- Java 8时间
- javaweb基础----struts驱动模型
- Mac下使用Spark-shell实现WorldCount
- JS(JQ)实现带动画的回到顶部效果
- 写给养花小白的水培小教程
- java mina的使用
- Java Script里Ajax操作
- 初识线程
- UVa 10881Piotr's Ants【思维】
- ngrok设置开机自启动
- javaSE_8系列博客——Java语言的特性(二)--高级语言的基础知识(5)-- 运算符