基于Hive及Sqoop的每日PV、UV、IP定时分析
来源:互联网 发布:施慧达待遇知乎 编辑:程序博客网 时间:2024/06/11 02:35
[Author]: kwu
基于Hive及Sqoop的每日PV、UV、IP定时分析
1、创建pvuvip的hive表
hive -e "use stage;CREATE EXTERNAL TABLE pvuvip(day string,pv int,uv int,ipcnt int)ROW FORMAT DELIMITED FIELDS TERMINATED BY ' 'LOCATION '/dw/stage/pvuvip/';"
2、创建mysql关系库的表
CREATE TABLE pvuvip ( id INT NOT NULL AUTO_INCREMENT, DAY VARCHAR(50), pv INT, uv INT, ipcnt INT, PRIMARY KEY (id) ) ENGINE=MyISAM DEFAULT CHARSET=latin1
3、每日定时执行的自动化脚本
#!/bin/sh# upload logs to hdfsyesterday=`date --date='1 days ago' +%Y%m%d`hive -e "use stage;insert overwrite table pvuvip select day,count(*) pv, count(distinct cookieid) uv , count(distinct ip) ipcnt from ods.tracklog where day='${yesterday}' group by day;"sqoop export --connect jdbc:mysql://localhost:3306/charts --username root --password 123456 --table pvuvip --fields-terminated-by ' ' --columns "day,pv,uv,ipcnt" --export-dir /dw/stage/pvuvip/;
4、在crontab中增加定时任务
18 06 * * * /opt/bin/sqoop_opt/pvuvip.opt
5、刷新定时任务
/sbin/service crond reload
1 0
- 基于Hive及Sqoop的每日PV、UV、IP定时分析
- 基于Hive及Sqoop的每日PV、UV、IP定时分析
- IP、UV、PV及跳出率的关系,他们的数据是如何分析的
- 使用hive和sqoop来实现统计24小时每个时段的PV和UV
- PV、UV、IP的区别
- PV、UV、IP的区别
- PV、UV、IP的区别
- PV、UV、IP的区别
- PV、UV、IP的区别
- PV、UV、IP的区别
- PV、UV、IP的区别
- PV、UV、IP的区别
- PV、UV、IP的区别
- PV、UV、IP的区别
- 聊聊网站分析术语:PV、IP、UV
- 网站流量分析指标-PV/UV/PR/ip分析及区别
- PV、UV、IP的定义与区别
- PV、UV、VV、IP的区别
- 第十一周 阅读程序 3 继承类对成员的访问
- 引用类型的思考
- Android 高德地图 Native method not found: com.autonavi.amap.mapcore.MapCore.nativeNewInstance:(Ljava/lan
- 黑马程序员----------流程控制(二)
- UVA 297 - Quadtrees(建树)
- 基于Hive及Sqoop的每日PV、UV、IP定时分析
- MVC模式开发图书商城项目分析
- UVA 839 - Not so Mobile(dfs就可以)
- main app方式启动servlet容器(Jetty) 测试web程序
- 第十二周项目四 点、圆的关系-(2)重载关系运算符比较两个圆的面积
- 第十二周项目1————教室兼干部类
- AngularJS--指令
- 数组(一)
- UVA 699 - The Falling Leaves(从中间向两边递归perfect)