Hive的体系结构
来源:互联网 发布:大数据行业解决方案 编辑:程序博客网 时间:2024/06/01 08:29
--Hadoop:用HDFS进行存储,利用MapReduce进行计算。
--元数据存储(MetaStore):通常是存储在关系数据库中。
Hive的安装有三种模式:嵌入模式、本地模式、远程模式
1)嵌入模式:
--元数据信息被存储在Hive自带的Derby数据库中。
--只允许创建一个连接
--多用于Demo(演示)
2)本地模式:
--元信息被存储在MySQL数据库中。
--MySQL数据库与Hive运行在同一台物理机器上。
--多用于开发和测试
3)远程模式:
--元信息被存储在MySQL数据库中。
--MySQL数据库与Hive运行不在同一台物理机器上。
--多用于实际的生产运行环境。
HIVE和hadoop之间的工作流程:
Hive工作原理
下图描述了Hive 和Hadoop之间的工作流程。
下表定义Hive和Hadoop框架的交互方式:
Hive接口,如命令行或Web UI发送查询驱动程序(任何数据库驱动程序,如JDBC,ODBC等)来执行。
2Get Plan在驱动程序帮助下查询编译器,分析查询检查语法和查询计划或查询的要求。
3Get Metadata编译器发送元数据请求到Metastore(任何数据库)。
4Send MetadataMetastore发送元数据,以编译器的响应。
5Send Plan编译器检查要求,并重新发送计划给驱动程序。到此为止,查询解析和编译完成。
6Execute Plan驱动程序发送的执行计划到执行引擎。
7Execute Job在内部,执行作业的过程是一个MapReduce工作。执行引擎发送作业给JobTracker,在名称节点并把它分配作业到TaskTracker,这是在数据节点。在这里,查询执行MapReduce工作。
7.1Metadata Ops与此同时,在执行时,执行引擎可以通过Metastore执行元数据操作。
8Fetch Result执行引擎接收来自数据节点的结果。
9Send Results执行引擎发送这些结果值给驱动程序。
10Send Results驱动程序将结果发送给Hive接口。
- Hive的体系结构
- Hive的体系结构
- Hive的体系结构
- Hive的体系结构
- Hive体系结构
- Hive体系结构
- Hive体系结构
- Hive体系结构
- Hive体系结构
- Hive体系结构
- Hive体系结构
- Hive体系结构
- Hive体系结构
- Hive体系结构
- hive体系结构
- Hive体系结构
- Hive(1)-Hive体系结构
- Hive与并行数据仓库的体系结构比较
- 用户登录的过滤器
- CSDN我的收藏
- 1014. 福尔摩斯的约会 (20)
- tensorflow 的android demo中,detector代码修改,解决检测框不显示问题
- MySQL第二天早上第一次连接超时报错,解决方法com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:
- Hive的体系结构
- 解决视图(SQL查询语句)唯一ID问题
- EditText默认不获取焦点,默认不弹出键盘
- Ubuntu 14.04 无线网卡驱动安装mt7601
- Shader-ZTest, ZWrite
- decode()函数简介
- java后台导出excel
- 冒泡排序和选择排序
- 小白科普:分布式和集群