kafka+spark Streaming+redis小项目

来源：互联网发布：淘宝客单页面模板编辑：程序博客网时间：2024/05/24 03:32

这个项目主题思路是：    手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器，我们假设这里直接进入到Kafka消息队列    后端的实时服务会从Kafka消费数据，将数据读出来并进行实时分析，这里选择Spark Streaming，因为Spark Streaming提供了与Kafka整合的内置支持    经过Spark Streaming实时计算程序分析，将结果写入Redis，可以实时获取用户的行为数据，并可以导出进行离线综合统计分析

需要用到的工具：
安装zookeer:
http://blog.csdn.net/w3045872817/article/category/7231592
安装redis：
http://blog.csdn.net/w3045872817/article/details/78728946
安装kafka：
http://blog.csdn.net/w3045872817/article/category/7231591
安装spark:
http://blog.csdn.net/w3045872817/article/details/78289805
redis客户端管理工具：
https://redisdesktop.com/

kafka客户端管理工具：
http://www.kafkatool.com/download.html

项目的github路径：https://github.com/Ericjeff/kafka-sparkStreaming-redis

阅读全文

0 0