日志流量分析案例

案例需求

创建hive表

创建用户

create database db_pra;

创建表

create table if not exists db_log(id                string ,url               string ,referer           string ,keyword           string ,type              string ,guid              string ,pageId            string ,moduleId          string ,linkId            string ,attachedInfo      string ,sessionId         string ,trackerU          string ,trackerType       string ,ip                string ,trackerSrc        string ,cookie            string ,orderCode         string ,trackTime         string ,endUserId         string ,firstLink         string ,sessionViewNo     string ,productId         string ,curMerchantId     string ,provinceId        string ,cityId            string ,fee               string ,edmActivity       string ,edmEmail          string ,edmJobId          string ,ieVersion         string ,platform          string ,internalKeyword   string ,resultSum         string ,currentPage       string ,linkPosition      string ,buttonPosition    string )partitioned by (day string ,hour string)row format delimited fields terminated by '\t';

加载数据

load  data local  inpath '/opt/datafile/2015082819' overwrite into table db_log partition(day ='20150828',hour ='18');

查看是否load成功

需求分析 ：统计分析每日各时段的PV, UV

统计条目数量

select count(*) sum from db_pra.db_log where data='20150828'; 

分析PV,UV

PV:统计所有用户总的点击次数
UV:Unique Visitor,访问您网站的一台电脑客户端为一个访客

select data,hour,count(url) pv, count(distinct guid) uv from db_log where data='20150828' group by data,hour;

根据day，hour分组

查看结果

将数据放入hive表中

创建结果表

包括day，hour，pv，uv，四列

create table if not exists db_log_result(day string ,hour string,pv string,uv string)row format delimited fields terminated by '\t';

加载结果数据到hive表

    insert into table db_log_result select data,hour,count(url) pv, count(distinct guid) uv from db_log where data='20150828' group by data,hour;

查看结果

导出数据到mysql

创建结果数据表

create table if not exists sqoop_test.db_log_result(day varchar(255) not null,hour varchar(255) default null,pv varchar(255) default null,uv varchar(255) default null,primary key(day,hour) )

使用sqoop将数据从hive导出到mysql

bin/sqoop export \--connect jdbc:mysql://localhost:3306/sqoop_test \--username root \--password 123456 \--table db_log_result   \--num-mappers 1   \--export-dir /user/hive/warehouse/db_pra.db/db_log_result \--input-fields-terminated-by "\t" 

查看结果