如何构建用户行为分析系统?

来源:互联网 发布:little darling mac 编辑:程序博客网 时间:2024/05/16 09:32

2016年12月6号我参加了研究生论文的开题报告,研究方向为基于用户行为的协同过滤推荐算法,因此一直在跟进用户行为相关资料的学习。
经朋友推荐,在极客学院上找到所需资料,我整理后分享给大家,希望大家拍砖。
对于用户行为分析项目,我们肯定不陌生,平时我们在京东或者淘宝或者当当浏览过商品后,电商网站总会为我们推荐相关的商品,记得有次看当当做个性化推荐的架构师做知识分享时提到,当当个性化推荐系统每年可以为当当提高30%的营业额,真可谓功不可没。
在接触到个性化推荐系统后,我一直在想,这一套是怎么做出来的呢?今天我结合自己所看的视频,把我的理解和大家分享一下,理解有偏差的地方,请大家斧正。
用户行为分析项目整体上分为四部分:收集数据、存储数据、处理数据、展现数据,如下图所示:
整体流程
有了整体的理解后,我们下面对每个部分进行详细讲解。
对于收集数据模块,用户在登录网站后,一般会产生用户登录记录日志、用户网站访问日志、注册记录日志等其他访问日志。这些日志我们可以通过Web服务器(如:Nginx、JBoss、WebLogic等)进行记录,然后通过Flume NG日志收集集群进行统一收集,保存到HDFS。
日志收集模块
对于存储数据模块,我们可以搭建HDFS集群,大家流程参考HDFS API。
对于处理数据模块,我们可以搭建Hadoop或Storm集群,把HDFS的数据分析、处理后保存到MySQL。
对于展现数据模块,我们可以开发API接口,访问处理数据模块保存在MySQL的数据。
这样通过长期的数据统计,我们便可以为用户打上很多标签,比如:性别、年龄、偏好……
通过构件用户行为分析系统,我们可以掌握用户动向,为制定决策提供数据依据,做到精准推送。
希望我的分享可以您让对用户行为分析系统有一个宏观的认识。

1 0
原创粉丝点击