使用SPARK 对支付系统进行并发交易笔数统计

来源:互联网 发布:大数据在医疗领域应用 编辑:程序博客网 时间:2024/06/06 16:55

使用SPARK 对支付系统进行并发交易笔数统计

 

1、spark读入文件

2、spark 分割 拼接获取时间字段

3、spark reducebykey按分钟统计交易次数

4、sortbykey排序

5、重新map拆分key,组装字符串年、月、日、时、分、次数

6、保存为文件

7、可视化显示

 

 

0 0
原创粉丝点击