用户实时行为数据采集

来源:互联网 发布:13米半挂车运费计算法 编辑:程序博客网 时间:2024/05/17 23:19

用户实时行为数据采集如下:

这里写图片描述
1.web、wap通过埋点实时发送用户行为数据至后端server, app直接调用http接口,server通过logback直接输出日志文件
2.flume通过tail命令监控日志文件变化
3.flume通过生产者消费者模式将tail收集到日志推送至kafka集群
4.kafka根据服务分配topic,一个topic可以分配多个group,一个group可以分配多个partition
5.storm实时监听kafka,流式处理日志内容,根据特定业务规则,将数据实时存储至cache,同时根据需要可以写入hdfs
6.kafka直接写入hdfs

1 0