hive的功能架构

来源:互联网 发布:淘宝新店铺怎样排前 编辑:程序博客网 时间:2024/06/07 06:26


hive可以做什么?

hive本质上是Hadoop数据仓库工具。用于解决海量结构化的日志的数据统计。可以将结构化的数据文件映射成一张表,并提供SQL查询。
hive可以通过一种基于SQL的数据操纵语言来简化对mapreduce的访问。通过编写SQL语句,优化后自动生成mapreduce任务,并执行任务。
适合离线数据处理,因为hive的执行延迟比较高。

hive是构架在hadoop之上的数据仓库

一个hive表是一个逻辑概念,物理上由一些HDFS中的文件构成。表可以是内部的,hive在数据仓库里面以目录的形式组织它们,数据仓库的路径由hive.metastore.warehouse.dir属性控制,默认的是在HDFS系统上的/user/hive/warehouse。表也可以是外部的,此时hive并不管理它们。
表中的数据数据使用MapReduce来计算
表中的数据使用HQL作为查询接口。

优势

●      容易上手。
hive原本是Facebook的内部的项目,由它贡献出来,最终成为一个成熟的Apache的顶级项目。我觉得它现在流行的原因是,很大的成都要看到它语言的本质,就是SQL。DBA或者有过数据库开发经验的人,都可以很容易上手。

●      提高效率
在业务逻辑不是很强的情况下,可以不用八股文模版编写job任务。我在看《Hadoop 硬实战》中有个很好的例子,利用相同的时间,hive可以能够在很短的时间内写完并执行MapReduce任务,如果用java去做相同的功能,在相同的时间内,可能连java的main方法都没写完,显然提高了效率。

●      统一的元数据管理。

●      已扩展。

hive组织架构图(使用团队组织结构图模版画的)


 

0 0
原创粉丝点击
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防,我是瞎子 脸内侧的肉肿了怎么办 上火引起的脸肿怎么办 脸肿里面有硬块怎么办 内分泌失调引起的肥胖怎么办 宝宝接种证丢了怎么办 不给补办接种证怎么办 儿童接种证丢了怎么办 疫苗接种本丢了怎么办 脊灰滴剂滴多了怎么办 鞋小了挤脚趾头怎么办 大母脚趾头疼是怎么办 小脚趾内侧长茧怎么办 小脚趾肿了很痛怎么办 穿袜子大脚趾痛怎么办 脚指头长水泡很痒怎么办 走路脚打起泡了怎么办 剪完脚趾甲肿了怎么办 大脚趾关节处疼怎么办 战士10穿不进去怎么办 脚上皮肤干燥起皮怎么办 脚趾头冻了很痒怎么办 大脚趾里面有脓怎么办 大脚趾肉肿了怎么办 大脚趾边上肿了怎么办 大母脚趾关节疼怎么办 大脚趾有点歪了怎么办 大脚趾扭伤肿了怎么办 大脚趾外翻怎么办 知乎 颈椎带着胳膊疼怎么办 胳膊酸困无力是怎么办 腰疼引起的腿麻怎么办 手臂到手指麻痛怎么办 拔完智齿特别疼怎么办 躺着胃烧的难受怎么办 喝酒胃烧的难受怎么办 舌头破了特别疼怎么办 舌头又厚又大怎么办 牙齿咬到舌头了怎么办 舌头起了好多泡怎么办 舌头尖起泡很痛怎么办 舌头上起泡怎么办很疼