Spark Streaming的window操作实战模拟新浪微博、百度、京东等热点搜索词案例实战
来源:互联网 发布:遗传算法的matlab程序 编辑:程序博客网 时间:2024/05/29 13:35
1.代码:
val conf =new SparkConf();
conf.setAppName("OnlineHottestItems");
conf.setMaster("spark://Master:7077");
/**
* 此处设置Batch Interval是在Spark Streaming中生成基本job的时间单位,窗口和滑动时间间隔
* 一定是改Batch Interval的整数倍
*/
val ssc =new StreamingContext(conf,Seconds(5));
ssc.checkpoint("/library/onlinehot/")
val hottestStream =ssc.socketTextStream("Master",9999)
/**
* 用户搜索的格式简化为name item,在这里我们由于要计算出热点内容,所以只需要提取item即可
* 提取出的item然后通过map转换为(item,1)
*/
val searchPair =hottestStream.map(_.split(" ")(1)).map(item => (item, 1))
//val hottestDStream = searchPair.reduceByKeyAndWindow((v1:Int, v2:Int) => v1 + v2, Seconds(60), Seconds(20))
val hottestDStream =searchPair.reduceByKeyAndWindow((v1: Int,v2: Int) => v1 + v2, (v1: Int,v2: Int) => v1 - v2,Seconds(60),Seconds(20))
//如果操作没有排序,可以通过transform扩展
hottestDStream.transform(hottestItemRDD => {
val top3 =hottestItemRDD.map(pair => (pair._2,pair._1)).sortByKey(false).
map(pair => (pair._2,pair._1)).
take(3)//选出前3个
for (item <-top3) {
println(item)
}
hottestItemRDD
/**
* 计算后的有效数据一般都会写入kafka中,下游的计费系统会从kafka中pull到有效数据进行计费
*/
- Spark Streaming的window操作实战模拟新浪微博、百度、京东等热点搜索词案例实战
- 大数据IMF传奇行动绝密课程第95课:通过SparkStreaming的window操作实战模拟新浪微博、百度、京东等热点搜索词案例实战
- 通过Spark Streaming的window操作实战模拟热点搜索词案例实战
- Spark-Streaming的window滑动窗口及热点搜索词统计案例
- Spark Streaming 实战案例(三) DStream Window操作
- Spark Streaming 实战案例(二) Transformation操作
- 13.window滑动窗口以及热点搜索词滑动统计案例实战
- Spark Streaming 实战案例(一)
- Spark Streaming 实战案例(四) Spark Streaming 缓存、Checkpoint机制
- Spark Streaming 实战案例(五) Spark Streaming与Kafka
- Spark Streaming实战(一)
- Spark Streaming实战(二)
- Spark Streaming实战(三)
- Spark Streaming--实战篇
- Spark Streaming Hello World案例动手实战其工作原理
- Spark Streaming updateStateByKey案例实战和内幕源码解密
- 第113课:Spark Streaming电商广告点击综合案例实战模拟点击数据的生成和数据表SQL建立
- 第109讲: Spark Streaming电商广告点击综合案例动态黑名单基于数据库MySQL的真正操作代码实战
- SparkStreaming 实现广告计费系统中在线黑名单过滤实战
- 维基百科中凹函数的定义 Concave function
- 未来版互金是一道“简餐”:对话简理财CEO张阳
- 通达OA工作流设计-关联子菜单(多级联动)及数据选择控件应用
- shell函数的使用
- Spark Streaming的window操作实战模拟新浪微博、百度、京东等热点搜索词案例实战
- 进一步学习MVC框架
- 单例模式的八种写法比较
- Windows Driver Samples剖析之Echo (三)
- MongoDB的主从复制与复制集
- Spark Streaming的foreachRDD把处理后的数据写入外部存储系统中
- android调起QQ聊天,QQ个人资料,QQ群资料
- 关于苹果发版被拒绝的问题
- Android中RadioButton样式问题