用户实时行为数据采集

来源:互联网 发布:java设计登录窗口 编辑:程序博客网 时间:2024/04/30 14:10

用户实时行为数据采集如下:

这里写图片描述 
1.web、wap通过埋点实时发送用户行为数据至后端server, app直接调用http接口,server通过logback直接输出日志文件 
2.flume通过tail命令监控日志文件变化 
3.flume通过生产者消费者模式将tail收集到日志推送至kafka集群 
4.kafka根据服务分配topic,一个topic可以分配多个group,一个group可以分配多个partition 
5.storm实时监听kafka,流式处理日志内容,根据特定业务规则,将数据实时存储至cache,同时根据需要可以写入hdfs 
6.kafka直接写入hdfs

0 0
原创粉丝点击