第103课:动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
来源:互联网 发布:汽车找不到导航软件 编辑:程序博客网 时间:2024/05/27 10:43
第103课:动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20:00YY频道现场授课频道68917580*/
Spark Streaming实时流处理,对于nc 输入的数据流进行黑名单过滤,并对黑名单输入的次数进行计数。
我们使用广播变量定义黑名单,使用Broadcast广播黑名单到每个Executor中
broadcastList = jsc.sparkContext().broadcast(Arrays.asList("Hadoop","Mahout","Hive"));
全局计数器,用于通知在线过滤了多少各黑名单
accumulator = jsc.sparkContext().accumulator(0, "OnlineBlacklistCounter");
实验步骤:
1、之前好用的的Tcpudp工具报错了,折腾这个浪费了一点时间
2、重新下载一个windows的nc.exe,java代码中使用hostname pc
在windows cmd命令行中使用nc -l -p 9999 -v,解决了socket 测试数据输入的问题
3、java代码运行,进行黑名单统计计数,结果如下:
源代码如下:
定义了2个receive,分别接收9999、8888两个端口的数据,9999端口统计黑名单,8888的端口不用做什么。
0 0
- 第103课:动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
- 第103课:动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
- 第103讲: 动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
- 动手实战联合使用Spark Streaming、Broadcast、Accumulator计数器实现在线黑名单过滤和计数
- 大数据IMF传奇行动绝密课程第103课:动手实战Spark Streaming Broadcast、Accumulator实现在线黑名单过滤和计数
- 第39课:Spark中的Broadcast和Accumulator机制解密
- spark-broadcast&accumulator使用
- 第106课: Spark Streaming电商广告点击综合案例黑名单过滤实现
- 用spark streaming实现黑名单实时过滤
- 第94讲, 使用Scala开发集群运行的Spark 实现在线黑名单过滤程序
- Spark-Spark Streaming-广告点击的在线黑名单过滤
- 大数据Spark “蘑菇云”行动第39课:Spark中的Broadcast和Accumulator机制解密
- 第108课: Spark Streaming电商广告点击综合案例动态黑名单过滤真正的实现代码
- 第106讲: Spark Streaming电商广告点击综合案例黑名单过滤实现
- 大数据Spark“蘑菇云”行动第56课:在线广告点击黑名单分析和实现
- 大数据IMF传奇行动绝密课程第94课:SparkStreaming实现广告计费系统中在线黑名单过滤实战
- spark中的Broadcast variables和Accumulator
- 第102讲: 动手实战Spark Streaming自定义Receiver并进行调试和测试
- 网络流二十四题之二十四 —— 骑士共存问题(KNI)
- ScrollerView上面加导航控制器
- lua中的String
- 构架Hadoop集群
- servlet获取web.xml中配置的初始化参数
- 第103课:动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
- android开发时保存用户名和密码
- 中奖概率算法
- duoxida的数字游戏
- VS中生成、清理项目、调试、开始执行(不调试)、Debug 和 Release等之间的区别
- java md5,md2,md4 加密算法
- android 读取excel表格数据,并存入数据库
- Release Order的问题记录
- 非模态对话框