spark的streamingcontext的另一种创建方式
来源:互联网 发布:淄博阿雷seo推广 编辑:程序博客网 时间:2024/05/21 11:17
val ssc = StreamingContext.getOrCreate(checkpointDirectory, () => { val topics = "logTopic" val brokers = "master:9092,slave1:9092" val sparkConf = new SparkConf().setAppName("uv").setMaster("local[2]") val ssc = new StreamingContext(sparkConf, Seconds(2)) ssc.checkpoint(checkpointDirectory) //create direct kafka stream with brokers and topics /* 直接消费是不经过zookeeper的,所以这时候你就要告诉我kafka的地址,而不是zookeeper的地址里 */ val topicSet = topics.split(",").toSet val kafkaParams = Map[String, String]("metadata.broker.list" -> brokers) //stringdecoder表示传的消息是字符串类型的 val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder]( ssc, kafkaParams, topicSet ) computeUV(messages) ssc })
0 0
- spark的streamingcontext的另一种创建方式
- Delegate的另一种创建方式
- 另一种创建线程的方式
- java另一种创建多线程的方式
- 创建索引的另一种方式(index)
- 创建maven项目的另一种方式
- 另一种爱的方式
- 打电话的另一种方式
- Spark定制班第25课:Spark Streaming的StreamingContext启动及JobScheduler启动源码图解
- 第25课:spark streaming的streamingContext启动及Jobschedule启动源码图解
- 第25课:Spark Streaming的StreamingContext启动及JobScheduler启动源码图解
- 调用方法的另一种方式
- 调用方法的另一种方式
- Decorator的另一种实现方式
- cooklie的另一种设置方式
- 代理的另一种实现方式
- Intent的另一种启动方式
- 另一种反弹shell的方式
- 大话数据结构
- Redis学习之缓存数据类型
- POJ2411-Mondriaan's Dream-状态dp
- AndroidStudio2.2下利用CMake编译方式的NDK opencv开发
- linux kernel 信号量、互斥锁、自旋锁
- spark的streamingcontext的另一种创建方式
- Android入门教程 sharedpreferences的用法
- 用接口实现,在非跳转情况下,一个界面向Activity传数据
- postgresql中pg_log、pg_clog和pg_xlog
- mysql命令大全(四)
- ListView、RecyclerView自动跳到页面顶部或者中间的问题
- SAP KKBC_ORD报表中Plan和Target的区别
- 微信小程序把玩(二十一)switch组件
- 2016.08.13/2/index/_d_Lucene54_0.dvm: Too many open files