Hive(一):架构及知识体系
来源:互联网 发布:网络僵尸病毒 编辑:程序博客网 时间:2024/06/07 18:07
摘要: Hive是一个基于Hadoop的数据仓库,最初由Facebook提供,使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层,...
Hive是一个基于Hadoop的数据仓库,最初由Facebook提供,使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层,设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据,2008年facebook把Hive项目贡献给Apache。Hive提供了比较完整的SQL功能(本质是将SQL转换为MapReduce),自身最大的缺点就是执行速度慢。Hive有自身的元数据结构描述,可以使用MySql\ProstgreSql\oracle 等关系型数据库来进行存储,但请注意Hive中的所有数据都存储在HDFS中。虽然 hive 可能存在这样那样的问题,但它作为后续研究 sparkSql 的基础,值得重点研究。
解释一下经常遇到的 hiveServer1、hiveServer2 ? 早期版本的 hiveServer(即 hiveServer1)因使用Thrift接口的限制,不能处理多于一个客户端的并发请求,在hive-0.11.0版本中重写了hiveServer代码(即 hiveServer2),支持了多客户端的并发和认证,并且为开放API客户端如JDBC、ODBC提供了更好的支持。
目录:
- hive 架构
- 知识体系
hive架构:
- 用户接口主要有三个:CLI(command line interface)命令行,Client 和 Web UI, CLI是开发过程中常用的接口,在 hive Server2提供新的命令beeline,使用sqlline语法,会有单独的章节来介绍
- metaStore: hive 的元数据结构描述信息库,可选用不同的关系型数据库来存储,通过配置文件修改、查看数据库配置信息,如下图(/etc/hive/2.4.2.0-258/0/hive-siet.xml)
- Driver: 解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后由MapReduce调用执行
- Hive的数据存储在HDFS中,大部分的查询、计算由MapReduce完成
知识体系:
- 包含shell命令语法、HiveQl语法、访问方式等,如下图:
转载请注明本文出处:http://www.infocool.net/kb/Hive/201608/175384.html
0 0
- Hive(一):架构及知识体系
- Hive(一):架构及知识体系
- Hive 概述 体系架构及环境搭建
- HIVE体系架构
- Hive 体系架构
- Hive体系架构
- Hive的安装模式、体系架构及优点
- 一、Android体系及系统架构
- 前端知识体系架构
- 软件工程师知识体系架构
- Android项目架构--知识体系简单梳理(一)
- oracle知识体系(一)
- 大型网站架构知识体系
- 大型网站架构知识体系
- web架构师知识体系
- Android体系架构及认识
- 大型网站架构演变和知识体系
- 大型网站架构演变和知识体系
- 崩溃日志
- swift循环 for in 语句
- Volley实现登陆功能
- 字节流与字符流详细比较
- android 图片转Base64压缩上传
- Hive(一):架构及知识体系
- SQL的几种连接:内连接、左联接、右连接、全连接、交叉连接
- abap --- memory id
- js改变table中td的值
- 解决html5<canvas>标签像素变大,图片变模糊的情况
- PAT 1002
- Logical Databases Logical data
- MScomm控件串口被占用的异常处理
- 安卓开发中Theme.AppCompat.Light的解决方法