SparkStreaming基于Kafka Receiver
来源:互联网 发布:进口商品条码查询软件 编辑:程序博客网 时间:2024/05/17 07:36
1.流程图
2.streaming代码
SparkConf conf = new SparkConf().setMaster("local[4]").setAppName("SparkStreamingOnKafkaRecevier");
JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(30));
Map<String, Integer> topic = new HashMap<String, Integer>();
topic.put("SparkStreamingOnKafkaRecevier", 2);
JavaPairReceiverInputDStream<String, String> lines = KafkaUtils.createStream(jsc, "rizhicaiji:2181", "MyFirstGroup", topic);
JavaDStream<String> words = lines.flatMap(new FlatMapFunction<Tuple2<String,String>, String>() { //如果是Scala,由于SAM转换,所以可以写成val words = lines.flatMap { line => line.split(" ")}
public Iterable<String> call(Tuple2<String,String> tuple) throws Exception {
return Arrays.asList(tuple._2.split(" "));
}
});
- SparkStreaming基于Kafka Receiver
- SparkStreaming基于Kafka Direct
- Sparkstreaming基于kafka以Receiver方式获取数据原理和案例实战
- 大数据IMF传奇行动绝密课程第90课:SparkStreaming基于Kafka Receiver案例实战和内幕源码解密
- 基于Java+SparkStreaming整合kafka编程
- Kafka->SparkStreaming
- sparkstreaming+kafka
- sparkstreaming+kafka
- SparkStreaming 自定义Receiver
- SparkStreaming自定义Receiver
- 第91讲:sparkStreaming基于kafka的Direct详解
- sparkstreaming直连kafka源码分析(基于spark1.6)
- Flume+Kafka+SparkStreaming整合
- Flume+Kafka+SparkStreaming整合
- Spark+kafka+SparkStreaming实例
- Flume + Kafka + SparkStreaming(2.0)
- sparkStreaming集成Kafka
- SparkStreaming整合Kafka
- 奋斗吧,程序员——第四十六章 此情可待成追忆,只是当时已惘然
- velocity学习记录
- sql中如何调用另一台服务器的数据库查询数据呢?_百度文库
- 用JavaScript 中onblur()函数判断失去焦点后的行为
- 系统缓存NSURLCache
- SparkStreaming基于Kafka Receiver
- 双端队列stl
- 基础加强
- 小记-picasso图片加载不显示
- static方法中,不能访问类内非static成员变量和方法。
- Base64Utils 在Java后台的扩展
- 凸函数和凹函数在国内和国外的一些定义是相反的 Convex function和Concave Function
- Android 性能优化(很好的文章)
- 线程