Hive 建立 最简单的table 从 文件 导入数据 带 分区 参数 partitioned
来源:互联网 发布:方伯谦 知乎 编辑:程序博客网 时间:2024/06/11 00:44
表定义文件
create table people(id STRING,name STRING,likes ARRAY<string>,addr MAP<string,string>)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY ':'STORED AS TEXTFILE;
下面是放入文本文件里的数据,文件名和路径也可以随便取,我这里是放在/tmp/test.txt,注意这里文本直接使用tab来分割的,不是空格
1 zs game,girl,money stuAddr:changsha,workAddr:beijing1 ls game,girl,money stuAddr:changsha,workAddr:beijing
在hive里导入数据
load data local inpath '/tmp/test.txt' into table people;
验证数据 select * from people
hive> select * from people;OK1 zs ["game","girl","money"] {"stuAddr":"changsha","workAddr":"beijing"}1 ls ["game","girl","money"] {"stuAddr":"changsha","workAddr":"beijing"}Time taken: 0.158 seconds, Fetched: 2 row(s)hive> select addr['stuAddr'] from people where name='zs';OKchangshaTime taken: 0.188 seconds, Fetched: 1 row(s)
带分区的表定义语句
create table people(id STRING,name STRING,likes ARRAY<string>,addr MAP<string,string>)partitioned by (dt string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY ':'STORED AS TEXTFILE;
同时需要变更对应的数据文件
1 zs game,girl,money stuAddr:changsha,workAddr:beijing 2016-1-11 ls game,girl,money stuAddr:changsha,workAddr:beijing 2016-1-1
最后导入的命令也不一样,这里其实就是按照DT这个字段来分区的
load data local inpath '/tmp/test.txt' into table people PARTITION (dt='2016-1-1') ;
更多例子,可以参考官方文档
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL
0 0
- Hive 建立 最简单的table 从 文件 导入数据 带 分区 参数 partitioned
- hive数据从文本导入
- 数据从HDFS导入hive
- 利用sqoop从mysql向多分区hive表中导入数据
- SQL Server 表分区(partitioned table/Data Partitioning)
- SQL Server 表分区(partitioned table/Data Partitioning)
- hive导入CSV数据,使用动态分区重新分区
- Hive的数据导入
- hive创建带分区的外部表
- 解决sqoop从mysql导入到hive表的多分区问题
- 导入作业数据集total.csv到Hive中,用日期做为分区表的分区ID
- spark从mongodb导入数据到hive
- scoop导入数据从mysql到hive
- SQOOP从MySQL导入数据到Hive
- R:从带分隔符的文本文件导入数据
- 以某列为分区ID,导入数据到HIVE
- 利用sqoop1将mysql数据导入至hive多分区
- hive由fs.hdfs.impl.disable.cache参数引起的重写分区数据的异常
- 缓存的简单实现例子
- 怎么创作歌曲
- OpenCV:YAML vs XML格式文件的读写操作
- [心得]程序设计语言实践之路第2版知识整理
- 第九周项目1-猴子选大王(数组版)
- Hive 建立 最简单的table 从 文件 导入数据 带 分区 参数 partitioned
- Spring MVC问题集锦
- 程序中的异常处理 篇
- java 读取properties 的不同方式,ResourceBundle和Porperties
- 【Spring3】依赖注入
- CodeForces 550A Two Substrings 简单题
- 卸载软件包
- 综合项目之闪讯破解(一)之 闪讯拨号用户名核心算法
- MySql实例