SparkStreaming 实现广告计费系统中在线黑名单过滤实战
来源:互联网 发布:遗传算法的matlab程序 编辑:程序博客网 时间:2024/05/15 23:43
1. 代码
val conf =new SparkConf() //创建SparkConf对象
conf.setAppName("OnlineBlackListFilter")//设置应用程序的名称,在程序运行的监控界面可以看到名称
conf.setMaster("spark://Master:7077")//此时,程序在Spark集群
val ssc =new StreamingContext(conf,Seconds(30))
/**
* 黑名单数据准备,实际上黑名单一般都是动态的,例如在Redis或者数据库中,黑名单的生成往往有复杂的业务
* 逻辑,具体情况算法不同,但是在Spark Streaming进行处理的时候每次都能访问完整的信息
*/
val blackList =Array(("hadoop",true),("mahout",true))
val blackListRDD =ssc.sparkContext.parallelize(blackList,8)
val adsClickStream =ssc.socketTextStream("Master",9999)
/**
* 此处模拟的广告点击的每条数据的格式为:time、name
* 此处map操作的结果是name、(time,name)的格式
*/
val adsClickStreamFormatted =adsClickStream.map {ads => (ads.split(" ")(1),ads) }
adsClickStreamFormatted.transform(userClickRDD => {
//通过leftOuterJoin操作既保留了左侧用户广告点击内容的RDD的所有内容,又获得了相应点击内容是否在黑名单中
val joinedBlackListRDD =userClickRDD.leftOuterJoin(blackListRDD)
/**
* 进行filter过滤的时候,其输入元素是一个Tuple:(name,((time,name), boolean))
* 其中第一个元素是黑名单的名称,第二元素的第二个元素是进行leftOuterJoin的时候是否存在在值
* 如果存在的话,表面当前广告点击是黑名单,需要过滤掉,否则的话则是有效点击内容;
*/
val validClicked =joinedBlackListRDD.filter(joinedItem => {
if(joinedItem._2._2.getOrElse(false))
{
false
} else {
true
}
})
validClicked.map(validClick => {validClick._2._1})
- SparkStreaming 实现广告计费系统中在线黑名单过滤实战
- SparkStreaming 实现广告计费系统中在线黑名单过滤实战
- 大数据IMF传奇行动绝密课程第94课:SparkStreaming实现广告计费系统中在线黑名单过滤实战
- sparkstreaming实现过滤黑名单
- transform实现广告计费日志实时黑名单过滤(Scala版本)
- transform实现广告计费日志实时黑名单过滤(Java版本)
- SparkStreaming之黑名单过滤
- Spark-Spark Streaming-广告点击的在线黑名单过滤
- 动手实战联合使用Spark Streaming、Broadcast、Accumulator计数器实现在线黑名单过滤和计数
- SparkStreaming通过读取文件动态黑名单过滤
- 第103课:动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
- 第103课:动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
- 第103讲: 动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
- 通过过滤黑名单案例对SparkStreaming 透彻理解
- 大数据IMF传奇行动绝密课程第103课:动手实战Spark Streaming Broadcast、Accumulator实现在线黑名单过滤和计数
- 第106课: Spark Streaming电商广告点击综合案例黑名单过滤实现
- 第106讲: Spark Streaming电商广告点击综合案例黑名单过滤实现
- 【电信计费系统项目实战】基础篇---登录界面实现
- Java集合类详解
- SparkStreaming updateStateByKey 基本操作
- 百度定位+广播检测网络(小白版)
- 常用的字符串和数字之间的转换函数
- Android Fragment的标准写法
- SparkStreaming 实现广告计费系统中在线黑名单过滤实战
- 维基百科中凹函数的定义 Concave function
- 未来版互金是一道“简餐”:对话简理财CEO张阳
- 通达OA工作流设计-关联子菜单(多级联动)及数据选择控件应用
- shell函数的使用
- Spark Streaming的window操作实战模拟新浪微博、百度、京东等热点搜索词案例实战
- 进一步学习MVC框架
- 单例模式的八种写法比较
- Windows Driver Samples剖析之Echo (三)