Hive 视图 索引 动态分区装载数据
来源:互联网 发布:eclipse 测试java程序 编辑:程序博客网 时间:2024/05/22 17:40
视图
创建视图
create view v_emp AS select t.name, t.age, t.addr from t_emp;删除视图
drop view if exists v_emp;
索引
创建索引
create index t_emp_index
on table t_emp (name)
as ‘org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler’
with deferred rebuild in table t_index;
显示索引
重建索引
alter index t_emp_index on t_emp rebuild;删除索引
drop index if exists t_emp_index on t_emp ;
普通装载数据(分区需指定)
从文件中装载数据
hive>LOAD DATA [LOCAL] INPATH ‘…’ [OVERWRITE] INTO TABLE t_employee [PARTITION (…)];
通过查询表装载数据
hive>INSERT OVERWRITE TABLE t_emp PARTITION (…) SELECT * FROM xxx WHERE xxx
批量插入
hive>FROM t_emp
INSERT OVERWRITE TABLE t_test PARTITION (…) SELECT … WHERE …
INSERT OVERWRITE TABLE t_test PARTITION (…) SELECT … WHERE …
INSERT OVERWRITE TABLE t_test PARTITION (…) SELECT … WHERE …
动态分区装载数据(分区不需指定)
若没有开启动态分区只支持以下写法
hive>INSERT OVERWRITE TABLE t_test PARTITION (country=’china’, city=’chengDu’)
SELECT name, age, addr
FROM t_emp
WHERE t_emp.country = ‘china’
AND t_emp.city = ‘chengDu’;
开启动态分区支持
hive>set hive.exec.dynamic.partition=true; // 开启动态分区
hive>set hive.exec.dynamic.partition.mode=nostrict; // 设置为非严格模式
hive>set hive.exec.max.dynamic.partitions.pernode=1000; // 最大动态可分区数
hive> insert overwrite table t_dynamic partition(country, city) select name, age, addr, country, city from t_emp;
数据导出
通过hdfs方式导出
到本地
hive> dfs -copyToLocal /user/hive_remote/warehouse/t_dynamic /home/tt;
或
hive> dfs -get /user/hive_remote/warehouse/t_dynamic /home/t_dynamic;
到hdfs
hive> dfs -cp /user/hive_remote/warehouse/t_dynamic /tmp/t_dynamic;
使用DIRECTORY
hive> insert overwrite [local] directory ‘/home/tt2’ select * from t_dynamic;
加local到本地/默认到hdfs
- Hive 视图 索引 动态分区装载数据
- Hive通过动态分区装载数据
- Hive通过动态分区装载数据
- 动态分区装载数据
- 大数据Hive的案例、参数、动态分区、分桶、视图、索引、运行方式、权限管理、Hive的优化_03_03
- hive向动态分区插入数据
- Hive装载数据命令
- hive导入CSV数据,使用动态分区重新分区
- hive视图和索引
- Hive视图和索引
- Hive 动态分区 & 静态分区
- hive动态分区
- Hive动态分区
- Hive动态分区
- HIVE动态分区实战
- Hive动态分区
- Hive动态分区
- hive 动态分区
- 操作系统ucore lab2实验报告
- MyBatis/Ibatis中#和$的区别
- Solr的常用操作
- Oracle中的chr()函数 和 ascii()函数
- MySQL数据库交互基础类
- Hive 视图 索引 动态分区装载数据
- 字符串匹配算法 -- 暴力破解法(朴素法),RK算法,KMP算法
- cotangent matrix or laplacian mesh operator
- android中使用ViewPager实现无限轮播图
- C到C++完美过度(二)
- NYOJ746:整数划分(四)(区间dp)
- 我的软著和专利
- 游戏开发笔记-技能系统
- RedHat Enterprise 6下MySQL5.7的安装