SparkStreaming基于Kafka Direct
来源:互联网 发布:南山空同 知乎 编辑:程序博客网 时间:2024/05/01 05:42
1.优点:
Kafka中的数据相当于streaming的底层文件系统,可以保证kafka中的数据能够处理且只能处理一次。此时不需要开启WAL机制。因为本身就可以保证数据0丢失
数据处理不过来
1.限定数据流动速度
2.增强机器处理能力
3.放到缓存池
2.代码:
String brokers = "192.168.10.150:9092";
String topics = "ws2,";
// 创建conf
SparkConf sparkConf = new SparkConf().setMaster("spark://rizhicaiji:7077").setAppName("StreamingMain");
JavaStreamingContext jsc = new JavaStreamingContext(sparkConf, Durations.seconds(10));
Set<String> topicsSet = new HashSet<>(Arrays.asList(topics.split(",")));
Map<String, String> kafkaParams = new HashMap<>();
kafkaParams.put("metadata.broker.list", brokers);
// 创建direct kafka
JavaPairInputDStream<String, String> messages = KafkaUtils.createDirectStream(
jsc,
String.class,String.class,
StringDecoder.class,StringDecoder.class,
kafkaParams,
topicsSet
);
- SparkStreaming基于Kafka Direct
- 第91讲:sparkStreaming基于kafka的Direct详解
- SparkStreaming基于Kafka Receiver
- 大数据IMF传奇行动绝密课程第91课:SparkStreaming基于Kafka Direct案例实战和内幕源码解密
- spark-streaming-[9]-SparkStreaming消费Kafka-Direct Approach
- 基于Java+SparkStreaming整合kafka编程
- 第91课:SparkStreaming基于Kafka Direct案例实战和内幕源码解密 java.lang.ClassNotFoundException 踩坑解决问题详细内幕版本
- Kafka->SparkStreaming
- sparkstreaming+kafka
- sparkstreaming+kafka
- Spark Streaming基于kafka的Direct详解
- Spark Streaming基于kafka的Direct详解
- SparkStreaming Direct模式总结
- SparkStreaming采用直连方式(Direct Approach)获取Kafka数据的研究心得
- sparkstreaming直连kafka源码分析(基于spark1.6)
- Flume+Kafka+SparkStreaming整合
- Flume+Kafka+SparkStreaming整合
- Spark+kafka+SparkStreaming实例
- 旋转字符串
- 可变参数
- js模块化require.js真的蛮有用
- linux中常用的一些命令
- mongodb查看当前操作db.currentOp()
- SparkStreaming基于Kafka Direct
- android 设置自定义dialog大小无效果
- 用unordered_map代替hash_map
- 魔兽世界任务制作教学,已经本人自己服务器中测试
- 一、OOP概念
- CocoPods的安装步骤
- 身份证号码生成
- SparkStreaming中Tanformations和状态管理
- 业务服务化给团队、技术带来的影响