0083.使用Scala和Java实战Spark Streaming开发第二讲Spark Streaming
来源:互联网 发布:福建网络干部培训 编辑:程序博客网 时间:2024/06/06 02:37
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import scala.Tuple2;
import scala.collection.parallel.ParIterableLike;
import java.util.Arrays;
/**
* Created by root on 16-4-19.
*/
public class WordCountOnline {
public static void main(String[] args){
/**第一步创建SparkConf
* 1.至少有两个线程,一个线程用于接收数据,一个线程用于处理数据
* 否则内存和磁盘都会无法承受
* 2.对于集群而言每个Executor,肯定不只有一个线程,对于处理Spark Streaming
* 的应用程序而言,一般分配几个Core比较合适,5个左右的Core比较合适
*/
SparkConf conf = new SparkConf().setMaster("local").setAppName("WordCountOnline");
JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(5));
/**
* 第三步创建Spark Streaming输入来源, input Stream
* 1.数据输入来源可以是:File,HDFS,Flume,Kafka,Socket等
* 2.该端口服务首先必须存在,不断产生数据
* 3.在生产环境中首先要判断是否有数据,如果没有数据,就不进行提交Job
*/
// JavaReceiverInputDStream lines = jsc.socketTextStream("local", 9999);
JavaDStream lines = jsc.textFileStream("/tmp/spark/");
/**
* 接下来就像基于RDD一样进行处理,基于DStream进行处理,DStream是RDD产生的模板或者说类,
* 在Spark Streaming发生计算前,其实际是把每个DStream翻译成RDD的操作
*/
JavaDStream words = lines.flatMap(new FlatMapFunction<String, String>() {
@Override
public Iterable call(String line) throws Exception {
return Arrays.asList(line.split(" "));
}
});
JavaPairDStream<String,Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {
@Override
public Tuple2 call(String word) throws Exception {
return new Tuple2<String, Integer>(word, 1);
}
});
JavaPairDStream<String,Integer> wordCounts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
@Override
public Integer call(Integer integer, Integer integer2) throws Exception {
return integer + integer2;
}
});
wordCounts.print();
jsc.start();
jsc.awaitTermination();
}
}
1.启动服务
2.进入目录:/tmp/spark/
3.创建文件:echo "A B B C" >> test1.txt
4.出现结果
-------------------------------------------
Time: 1461059835000 ms
-------------------------------------------
(B,2)
(A,1)
(C,1)
0 0
- 0083.使用Scala和Java实战Spark Streaming开发第二讲Spark Streaming
- 第83讲:Scala和Java二种方式实战Spark Streaming开发
- Scala和Java二种方式实战Spark Streaming开发
- IMF传奇行动第83课:Spark Streaming第二课:用Scala和Java二种方式实战Spark Streaming开发
- 第83课:使用Scala和Java两种方式实战Spark Streaming开发 本地webui小技巧
- day83-透彻讲解使用Java方式实战Spark Streaming开发
- 大数据IMF传奇行动绝密课程第83课:透彻讲解使用Scala和Java两种方式实战Spark Streaming开发
- Spark Streaming开发入门——WordCount(Java&Scala)
- Spark Streaming开发入门——WordCount(Java&Scala)
- Spark Streaming实战(一)
- Spark Streaming实战(二)
- Spark Streaming实战(三)
- Spark Streaming--实战篇
- spark streaming---使用gradle混合编译Scala和Java项目并打包
- spark streaming检查点使用
- Spark Streaming---UpdatestateBykey(java)
- Spark Streaming---WindowBasedTopWord(java)
- Spark Streaming Java案例
- 接口测试
- LeetCode 131. Palindrome Partitioning
- 国际马的跳法
- Android Canvas的save(),saveLayer()和restore()浅谈
- 图解StreamingContext、DStream、Receiver 第三讲spark streaming
- 0083.使用Scala和Java实战Spark Streaming开发第二讲Spark Streaming
- 网络名词
- 细说JavaScript 导出 上万条Excel数据
- Unity3d 实现顶点动画
- X210官方uboot配置编译实践1~2
- <Pro WPF 4.5 in C#> - Note-03
- Java 基本数据类型
- Android adb shell学习心得(三)
- 关于Spring事务的面试题