用hive+hdfs+sqoop分析日志的步骤
来源:互联网 发布:c语言api函数大全 编辑:程序博客网 时间:2024/06/01 23:38
现在的部分工作是进行日志分析,由于每天的日志压缩前80多G左右,用lzop压缩后10G左右,如果用shell直接进行统计,需要花费很长时间才能完成,而且还需要用java函数对request url进行转换,于是采用hive+hdfs+sqoop方案进行日志统计分析
hadoop+hive+hdfs+sqoop的架构就不详细说了,可以直接用cloudera的repo直接安装
日志分析步骤
一 下载服务器中的日志,因为应用服务使用了多台服务器,所以需要对日志进行合并整理,然后用lzop进行压缩
二 在hive中创建表
- hive>CREATE TABLE maptile (ipaddress STRING,identity STRING,user STRING,time STRING,method STRING,request STRING,protocol STRING,status STRING,size STRING,referer STRING,agent STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' WITH SERDEPROPERTIES ("input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) (\"[^ ]*) ([^ ]*) ([^ ]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\".*\") ([^ \"]*|\".*\"))?","output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s %10$s %11$s")STORED AS TEXTFILE;
三 导入日志数据
- hive>load data local inpath '/home/log/1.lzo' overwrite into table maptile;
四 在hive中创建日志统计后结果表
- hive>create table result (ip string,num int) partitioned by (dt string);
五 统计日志并将统计结果插入到新表中
- hive>insert overwrite table result partition (dt='2011-09-22') select ipaddress,count(1) as numrequest from maptile group by ipaddress sort by numrequest desc;
六 将统计结果导出到mysql中
- sqoop export --connect jdbc:mysql://localhost:3306/result --username root --password admin --table ip_info --export-dir /user/hive/warehouse/result/dt=2011-09-22 --input-fields-terminated-by '\001'
以上步骤可以写入到shell script中设置定时任务自动完成
- 用hive+hdfs+sqoop分析日志的步骤
- 用hive+hdfs+sqoop分析日志的步骤
- 用hive+hdfs+sqoop分析日志的步骤
- Flume-NG + HDFS + HIVE 日志收集分析
- Flume-NG + HDFS + HIVE 日志收集分析
- RDBMS和HDFS, HIVE, HBASE的迁移工具Sqoop
- 使用sqoop导入导出mysql、hdfs、hive出现的问题
- 论坛日志分析:Flume+MapReduce+Hive+Sqoop+MySQL
- 用sqoop导入数据到HIVE和HDFS中
- sqoop向hdfs,hive,hbase导入数据
- mysql 导入hdfs、hive、hbase sqoop使用方法
- 基于Hive的日志分析
- 使用sqoop实现关系型数据库、HDFS、Hive之间数据的导入导出
- 用Hive分析nginx日志
- 用Hive分析Nginx日志
- Sqoop数据迁移,工作机制,sqoop安装(配置),Sqoop的数据导入,导入表数据到HDFS,导入关系表到HIVE,导入到HDFS指定目录,导入表数据子集,按需导入,增量导入,sqoop数据导出
- 大数据基础(二)hadoop, mave, hbase, hive, sqoop在ubuntu 14.04.04下的安装和sqoop与hdfs,hive,mysql导入导出
- 利用sqoop从sqlserver导入数据到HDFS或Hive
- mysql 运算符(作业)
- Android之ListView学习实例
- C++中输入字符串总结
- Latex单行公式和多行公式的排版
- 用实例来判断哪个搜索引擎更新更快
- 用hive+hdfs+sqoop分析日志的步骤
- linux中的 IO端口映射和IO内存映射【转】
- scalar and list context
- 如何让Windows Server 2008服务器支持被动模式
- linux常用命令组合
- linux下挂载(mount)光盘镜像文件、移动硬盘
- mysql find_in_set方法在一个字段里匹配用','号分割的各个值(记录)
- (每日心得)WinForm下利用ADO.NET访问SQL Server数据库
- 浅谈 js中parseInt函数的解析