Spark开发电商日志分析用户行为聚合功能练习

                                 

电商网站的各种用户行为进行分析

访问首页 → 点击商品 → 添加购物车 → 结算
访问首页 → 输入关键词 → 点击商品列表 → 点击商品→ 关闭网页
访问详情页 → 查看推荐商品 → 点击商品列表 → 点击商品→ 购买
广告页 → 商品页 → 购物车

项目目的

为产品部门、运营部门、决策部门

提供决策数据支持
提供优化指导思路

企业开发流程

需求分析 → 方案设计 → 数据设计 → 编码实现 → 功能测试 → 解决技术问题（数据倾斜等）→ 性能调优

用户需求

可以根据使用者指定的某些条件，筛选出指定的一些用户（有特定年龄、职业、城市）；
例如：
选择年龄： 10 到 50周岁
选择时间： 开始时间2017-08-20 结束时间2017-08-20
选择性别：女性
查询符合条件的所有用户

名词解释

用户访问session

用户session指的是：
从用户第一次进入页面开始，到用户关闭浏览器（长时间没有操作）结束。
在这段时间范围内，所有的操作（可能做了几十次、甚至上百次操作），都称为是一个用户行为。

在一个Session过程中SessionId是不变的，由多个id相同的Session组成用户的一条操作行为

一个用户一天可以有多个Session

数据结构

数据结构 user_visit_action（Hive表）

date：日期，代表这个用户点击行为是在哪一天发生的
user_id：代表这个点击行为是哪一个用户执行的
session_id ：唯一标识了某个用户的一个访问session
page_id ：点击了某些商品/品类，也可能是搜索了某个关键词，然后进入了某个页面，页面的id
action_time ：这个点击行为发生的时间点
search_keyword ：如果用户执行的是一个搜索行为，比如说在网站/app中，搜索了某个关键词，然后会跳转到商品列表页面；搜索的关键词
click_category_id ：可能是在网站首页，点击了某个品类（美食、电子设备、电脑）
click_product_id ：可能是在网站首页，或者是在商品列表页，点击了某个商品（比如呷哺呷哺火锅XX路店3人套餐、iphone 6s）
order_category_ids ：代表了可能将某些商品加入了购物车，然后一次性对购物车中的商品下了一个订单，这就代表了某次下单的行为中，有哪些
商品品类，可能有6个商品，但是就对应了2个品类，比如有3根火腿肠（食品品类），3个电池（日用品品类）
order_product_ids ：某次下单，具体对哪些商品下的订单
pay_category_ids ：代表的是，对某个订单，或者某几个订单，进行了一次支付的行为，对应了哪些品类
pay_product_ids：代表的，支付行为下，对应的哪些具体的商品

数据结构 user_info（Hive表）

user_id：其实就是每一个用户的唯一标识，通常是自增长的Long类型，BigInt类型
username：是每个用户的登录名
name：每个用户自己的昵称、或者是真实姓名
age：用户的年龄
professional：用户的职业
city：用户所在的城市

数据结构 task（MySQL表）

task_id：表的主键
task_name：任务名称
create_time：创建时间
start_time：开始运行的时间
finish_time：结束运行的时间
task_type：任务类型，就是说，在一套大数据平台中，肯定会有各种不同类型的统计分析任务，比如说用户访问session分析任务，页面单跳转化率统计任务；所以这个字段就标识了每个任务的类型
task_status：任务状态，任务对应的就是一次Spark作业的运行，这里就标识了，Spark作业是新建，还没运行，还是正在运行，还是已经运行完毕
task_param：最最重要，用来使用JSON的格式，来封装用户提交的任务对应的特殊的筛选参数

数据Session聚合

将多条id相同的记录聚合成一条记录：意思是说将多个Action组成一个动作序列
User_visit_action数据量庞大
1000万日活用户，就能产生5到10亿条用户行为数据
如果我们做一次Session的聚合，数据量将大大下降

我们将单个操作，比如 点击、搜索等，组成一个行为序列，用时间顺序排序，表明用户都做了哪些操作，前后操作顺序是什么样？

下面开始搭建开发环境

项目地址

https://github.com/xy83918/ECLA

开发IDE

https://www.jetbrains.com/idea/download/#section=windows

jdk 下载1.7

http://www.oracle.com/technetwork/java/javase/archive-139210.html

mysql

https://www.mysql.com/downloads/

MySQL windows版
http://sw.bos.baidu.com/sw-search-sp/software/d59738042c504/mysql-5.7.17.msi

mysql脚本

CREATE DATABASE spark_projectUSE spark_project/*SQLyog Ultimate v12.09 (64 bit)MySQL - 5.7.17-log **********************************************************************//*!40101 SET NAMES utf8 */;create table `task` (    `task_id` int (11),    `task_name` varchar (765),    `create_time` varchar (765),    `start_time` varchar (765),    `finish_time` varchar (765),    `task_type` varchar (765),    `task_status` varchar (765),    `task_param` text ); insert into `task` (`task_id`, `task_name`, `create_time`, `start_time`, `finish_time`, `task_type`, `task_status`, `task_param`) values('1','测试任务',NULL,NULL,NULL,NULL,NULL,'{\"startAge\":[\"10\"],\"endAge\":[\"50\"],\"startDate\":[\"2017-07-26\"],\"endDate\":[\"2017-07-26\"],\"sex\":[\"male\"]}');

              注意Task表中最后一个列task_param中，Json的StartDate和EndDate需要设置成今天，因为mock数据的时候，只有今天的数据

加载main方法 第 60多行

System.out.println (sessionid2actionRDD.count ());        for (Tuple2<String,Row> tuple: sessionid2actionRDD.take ( 10 )){            System.out.println (tuple._2 ());        }

                                                程序的主入口

   技术扶持 技术交流  汇聚程序员精英   群里有马士兵2017最新视频下载 支持手机在线观看  群号233025331