图解hive运行机制

来源:互联网 发布:公司网络服务器搭建 编辑:程序博客网 时间:2024/05/22 01:26

Hive是构建在Hadoop之上的数据仓库平台,它的创造是为了让非Java程序员更方便使用MapReduce

它的架构如下图所示:


它的运行流程如下图:


Hive创建的表的元信息存在于结构型数据库之内(这个数据库可以是自带的Derby数据库也可以是用户自己安装的数据库),而表中的内容存在于HDFS之中,用户输入SQL语句之后进行编译,然后在模板库找到对应的模板组装,最后交给Yarn运行,最后附带一张Yarn执行mapreduce任务的解释图




1 0