用hive+hdfs+sqoop分析日志的步骤
来源:互联网 发布:飞利浦剃须刀推荐 知乎 编辑:程序博客网 时间:2024/06/08 17:20
现在的部分工作是进行日志分析,由于每天的日志压缩前80多G左右,用lzop压缩后10G左右,如果用shell直接进行统计,需要花费很长时间才能完成,而且还需要用java函数对request url进行转换,于是采用hive+hdfs+sqoop方案进行日志统计分析
hadoop+hive+hdfs+sqoop的架构就不详细说了,可以直接用cloudera的repo直接安装
日志分析步骤
一 下载服务器中的日志,因为应用服务使用了多台服务器,所以需要对日志进行合并整理,然后用lzop进行压缩
二 在hive中创建表
hive>CREATE TABLE maptile (ipaddress STRING,identity STRING,user STRING,time STRING,method STRING,request STRING,protocol STRING,status STRING,size STRING,referer STRING,agent STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' WITH SERDEPROPERTIES ("input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) (\"[^ ]*) ([^ ]*) ([^ ]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\".*\") ([^ \"]*|\".*\"))?","output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s %10$s %11$s")STORED AS TEXTFILE;
三 导入日志数据
hive>load data local inpath '/home/log/1.lzo' overwrite into table maptile;
四 在hive中创建日志统计后结果表
hive>create table result (ip string,num int) partitioned by (dt string);
五 统计日志并将统计结果插入到新表中
hive>insert overwrite table result partition (dt='2011-09-22') select ipaddress,count(1) as numrequest from maptile group by ipaddress sort by numrequest desc;
六 将统计结果导出到mysql中
sqoop export --connect jdbc:mysql://localhost:3306/result --username root --password admin --table ip_info --export-dir /user/hive/warehouse/result/dt=2011-09-22 --input-fields-terminated-by '\001'
以上步骤可以写入到shell script中设置定时任务自动完成
- 用hive+hdfs+sqoop分析日志的步骤
- 用hive+hdfs+sqoop分析日志的步骤
- 用hive+hdfs+sqoop分析日志的步骤
- Flume-NG + HDFS + HIVE 日志收集分析
- Flume-NG + HDFS + HIVE 日志收集分析
- RDBMS和HDFS, HIVE, HBASE的迁移工具Sqoop
- 使用sqoop导入导出mysql、hdfs、hive出现的问题
- 论坛日志分析:Flume+MapReduce+Hive+Sqoop+MySQL
- 用sqoop导入数据到HIVE和HDFS中
- sqoop向hdfs,hive,hbase导入数据
- mysql 导入hdfs、hive、hbase sqoop使用方法
- 基于Hive的日志分析
- 使用sqoop实现关系型数据库、HDFS、Hive之间数据的导入导出
- 用Hive分析nginx日志
- 用Hive分析Nginx日志
- Sqoop数据迁移,工作机制,sqoop安装(配置),Sqoop的数据导入,导入表数据到HDFS,导入关系表到HIVE,导入到HDFS指定目录,导入表数据子集,按需导入,增量导入,sqoop数据导出
- 大数据基础(二)hadoop, mave, hbase, hive, sqoop在ubuntu 14.04.04下的安装和sqoop与hdfs,hive,mysql导入导出
- 利用sqoop从sqlserver导入数据到HDFS或Hive
- Java 验证码
- WSGI.解析GET请求
- Android 短信 彩信 wap push的接收
- 拖拽面板
- smarty的简明安装配置
- 用hive+hdfs+sqoop分析日志的步骤
- hdu4013树的最小表示
- linux服务器下mysql设置主从同步的过程
- 类级框架
- C++ 编码转换
- mac windows 时间不同步问题(转)
- 第二章 6 HTML5 表单元素
- GetModulePath()
- NSIS ODBC Driver 安装及新建(例MySQL ODBC Driver 3.5.1)