Hive概述
来源:互联网 发布:网络上说表妹什么意思 编辑:程序博客网 时间:2024/05/23 13:25
Hive本质是什么?
1.Hive是分布式数据仓库,同时又是查询引擎,所有Spark SQL取代只是Hive查询引擎,在企业中Hive + Spark SQL是目前最为经典的数据分析组合。
2.Hive本身是一个单机版本软件,主要负责:
a) 把HQL翻译成Mapper(s)-Reducer-Mapper(s)代码,并且可能产生很多MapReduces的Job
b) 把生产的MapReduce代码及相关资源打包成Jar,发布到Hadoop集群中运行(这一切都是自动的)
3.Hive的架构
Hive安装和配置
1.export 环境变量
2.vim hive-env.sh
export HADOOP_HOME
3.vim hive.site.xml
hive.site.xml指定Hive数据仓库的具体的具体存储。
4.安装MySQL
5.Hive的表有两种基本类型
外部表:数据不属于Hive数据仓库,元数据中会表达具体数据在哪里,使用的时候和内部表的使用时一样的,只是通过Hive去删除的话,此时删除的是元数据,并没有删除数据本身
内部表:这种表数据属于Hive本身,原来的数据在HDFS的其他地方,此时数据会通过HDFS移动到Hive数据仓库所在的目录下,如果删除Hive中的该表的话,数据和元数据均会被删除。
说明:
Hive默认情况下,放元数据的是Derby,遗憾的是Derby是单用户的,在生产环境下一般采用支持多用户的数据库,来进行Meta Store,且进行Master-Slave主从读写分离和备份,最常用是MySQL
0 0
- Hive概述
- HIVE 概述
- hive概述,hive是什么
- hive之SerDe概述
- Hive 中SerDe概述
- hive基础概述
- Hive(零)--概述
- [Hive]HiveServer2概述
- Hive 中SerDe概述
- Hive概述及入门
- 【hive】Hive-0.5中SerDe概述
- Hive-0.5中SerDe概述
- Hive-0.5中SerDe概述
- Hive-0.5中SerDe概述
- [一起学Hive]之一–Hive概述,Hive是什么
- [一起学Hive]之一–Hive概述,Hive是什么
- Hive 资料整理系列 五 Hive-0.5中SerDe概述
- Hive-0.5中SerDe概述 写hive的提示
- gets和fgets函数的区别
- 前端学习笔记-HTML(一)
- 微信小程序开发基础篇之安装(一)
- Spring入门之bean装配
- 【jQuery】管理包装集
- Hive概述
- qml文件如何查看效果
- 【c++】复合类型
- BlockingQueue的原理浅析及其在项目中的应用
- 尚硅谷java学习笔记——10.java IO流
- Android中让TextView的字体部分显示颜色
- java调用peopleSoft webservice
- 不调用具有"协程特性"的系统API函数而使用汇编实现协程
- C 语言入门 慕课网