Hive 9、Hive 在表中添加正则匹配
来源:互联网 发布:java log日志 编辑:程序博客网 时间:2024/06/05 04:35
在Hive中还有一项比较好用的功能,也是非常重要的功能:在建表的时候可以不指定表的行、字段、列的分隔方式,通过给表指定一段正则表达式,让Hive自动去匹配;
1、创建表
CREATE TABLE apachelog ( dates STRING, times STRING, types STRING, info STRING)ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'WITH SERDEPROPERTIES ( "input.regex" = "(^[0-9|-]{0,}) ([^ ]*) (INFO|ERROR) ([^*]*)$")STORED AS TEXTFILE;
2、日志文件内容
$ vi /opt/apachelog# 下面是一段hadoop的日志内容2016-01-23 14:22:04,407 INFO org.apache.hadoop.http.HttpServer2: Jetty bound to port 84802016-01-23 14:22:04,407 INFO org.mortbay.log: jetty-6.1.262016-01-23 14:22:05,065 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:84802016-01-23 14:22:05,357 INFO org.apache.hadoop.ipc.CallQueueManager: Using callQueue class java.util.concurrent.LinkedBlockingQueue2016-01-23 14:22:05,428 INFO org.apache.hadoop.ipc.Server: Starting Socket Reader #1 for port 84852016-01-23 14:22:05,470 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting2016-01-23 14:22:05,472 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 8485: starting2016-01-23 16:00:15,525 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: RECEIVED SIGNAL 15: SIGTERM2016-01-23 16:00:15,531 INFO org.apache.hadoop.hdfs.qjournal.server.JournalNode: SHUTDOWN_MSG:
3、导入本地数据
hive> load data local inpath '/opt/apachelog' overwrite into table apachelog;
4、查看结果
hive> select * from apachelog;OK2016-01-23 14:22:04,407 INFO org.apache.hadoop.http.HttpServer2: Jetty bound to port 84802016-01-23 14:22:04,407 INFO org.mortbay.log: jetty-6.1.262016-01-23 14:22:05,065 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:84802016-01-23 14:22:05,357 INFO org.apache.hadoop.ipc.CallQueueManager: Using callQueue class java.util.concurrent.LinkedBlockingQueue2016-01-23 14:22:05,428 INFO org.apache.hadoop.ipc.Server: Starting Socket Reader #1 for port 84852016-01-23 14:22:05,470 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting2016-01-23 14:22:05,472 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 8485: starting2016-01-23 16:00:15,525 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: RECEIVED SIGNAL 15: SIGTERM2016-01-23 16:00:15,531 INFO org.apache.hadoop.hdfs.qjournal.server.JournalNode: SHUTDOWN_MSG: Time taken: 0.518 seconds, Fetched: 9 row(s)
阅读全文
0 0
- Hive 9、Hive 在表中添加正则匹配
- 在Hive中添加函数
- Hive 正则匹配函数 regexp_extract
- 大数据 (二十四)Hive【Hive 正则匹配】
- HIVE 通过正则匹配 字段分列
- hive学习笔记-正则匹配篇
- Hive 正则表达式使用 与 匹配中文
- Hive 正则匹配函数 regexp_extract具体用法
- hive中添加永久性函数
- hive 正则
- 在hive中虚构dual表
- 在Hive中创建索引
- 在Hive中创建索引
- 在Hive中使用Avro
- 在hue中操作hive
- hive中拉链表
- 使用Hive的正则表达式匹配数据时为NULL
- MapReduce产生RCFile文件在HDFS,HIve将RCFile文件加载到hive的表中
- Scala数组的基本操作,数组进阶操作,多维数组
- Hive 8、Hive2 beeline 和 Hive jdbc,Hive的UDF、UDAF、UDTF
- HDU.1166 敌兵布阵 (线段树 单点更新 区间查询)
- jq 里 each return 的细节
- Selenium3.0 自动化测试
- Hive 9、Hive 在表中添加正则匹配
- C# StreamReader文件逐行读取为List<string>
- Git部分命令
- 欢迎使用CSDN-markdown编辑器
- Hive 内置函数
- 白话经典算法系列之十二 数组中只出现一次的两个数字(百度面试题)
- hive版本wordcount
- 为一个驱动添加Android中间层的步骤
- ubuntu install tensorflow keras