Spark word count 实例
来源:互联网 发布:js event button 编辑:程序博客网 时间:2024/06/06 19:43
利用中午休息时间配置了个环境,写个Word count 本地模式测试下 环境 , 环境Okay
Scala 2.10.4
Java 1.7.08
Spark 1.6.0
package com.ib.e3import org.apache.spark.{SparkConf, SparkContext}/** * Created by xxxooo on 8/29/2016. */object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Myapp").setMaster("local") val sc = new SparkContext(conf) val linesRDD = sc.textFile("C:\\workplacebus\\business\\xxxooo\\xxxooo\\workspace\\spark\\lib\\wordcount.txt") val wordRDD = linesRDD.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((a,b) => a+b) wordRDD.foreach(word => println(word)) }}
每一个坚持大汗淋漓的人都不会太简单
0 0
- Spark word count 实例
- Spark-Word Count实例
- Spark---Word Count
- spark word count
- 【spark】spark word count例子
- mapper-reducer word count 实例
- Spark Streaming---Streaming Word Count(java)
- Learning Spark——使用spark-shell运行Word Count
- Spark Streaming和Flink的Word Count对比
- spark-streaming 编程(二) word count单词计数统计
- [1].Spark 学习笔记 使用java ---word count
- Word Count
- IDEA + Hadoop工程入门实例 ——Word Count编程
- [1.1]第一个Spark应用程序之Java & Scala版 Word Count
- spark--actions算子--count
- [Memo] restricted word count
- python word count
- hadoop word count example
- 用lxrun更改Linux子系统中的默认登录帐户
- csdn如何转载别人的文章
- 条款二十四:了解virtual functions、multiple inheritance、virtual base class、runtime type identification的成本
- 搭建web项目结合spring+cxf的webservice服务
- 初学主席树
- Spark word count 实例
- CodeForces 314B. Sereja and Periods 思维+简单dp
- 【OpenCV入门教程之一】 安装OpenCV:OpenCV 3.0、OpenCV 2.4.8、OpenCV 2.4.9 +VS 开发环境配置
- Leetcode 122: Best Time to Buy and Sell Stock II
- spring4+mybatis3+velocity+mysql+gradle
- JSP学习笔记---pageContext对象
- HDU 2588 NOJ 1126 GCD 欧拉函数应用问题
- Redis初识(二)
- Visual studio 2015(VS2015)的下载和安装,以及安装VS2015中的C++