Hive概述及入门
来源:互联网 发布:没钱出国知乎 编辑:程序博客网 时间:2024/06/05 12:17
MapReduce编程的不便性以及Hive的产生背景
1)MapReduce繁琐
Mapper
Reducer
Driver
package
2)大量数据都存放在HDFS,如何快速的对HDFS上的文件进行统计分析操作?
学Java、学MapReduce
DBA: SQL
HDFS: 仅仅只是一个纯的文本文件而已,并没有schema的概念
没有schema,那么就办法使用sql进行查询
1)MapReduce繁琐
Mapper
Reducer
Driver
package
2)大量数据都存放在HDFS,如何快速的对HDFS上的文件进行统计分析操作?
学Java、学MapReduce
DBA: SQL
HDFS: 仅仅只是一个纯的文本文件而已,并没有schema的概念
没有schema,那么就办法使用sql进行查询
如何为HDFS上的文件添加Schema信息
Hive:使用一种类似于SQL的查询语言直接作用在分布式存储系统的文件之上
facebook开源,解决海量结构化的日志数据统计问题
构建在Hadoop之上的数据仓库
Hive的数据是存放在HDFS
Hive的计算是通过yarn和mr
引擎: Hive QL ==> MapReduce 详细过程参考:http://blog.csdn.net/qq_32252917/article/details/78198832
Hive底层:MapReduce、Spark(Hive on Spark)、Tez
压缩/存储格式
Hive发展历程:
07/08 facebook
13/05 hive-0.11 Stinger Phase 1 ORC/HiveServer2
13/10 hive-0.12 Stinger Phase 2 ORC improvement(改善)
14/04 hive-0.13 Stinger Phase 3 Tez/Vectorized query engine(向量化查询)
14/11 hive-0.14 Stinger.next Phase 1 Cost-based optimizer(CBO)
...... Hive-1/2
The Stinger Initiative making Apache Hive 100 times faster
阅读全文
0 0
- Hive概述及入门
- Hive的产生背景 & 概述 & 发展历程 & 架构 & 部署及简单入门
- Hibernate 概述及入门
- JSP概述及入门
- Hive 概述 体系架构及环境搭建
- hive环境搭建及入门
- HIVE入门安装及配置
- 【Hibernate一】概述及入门
- Hive概述
- HIVE 概述
- hive概述,hive是什么
- Hive入门操作使用及常用配置
- WebService入门概述及案例分析
- DIV+CSS布局概述及初步入门
- 细说php(一) 概述及入门程序
- 【Quartz】Quartz概述及入门实例
- HTTP协议概述及请求响应入门
- DOS概述及入门(读书笔记)
- 虚拟机无法创建新虚拟机,拒绝访问,解决方法
- 关于云ERP的前半生,贺涵总结了三个变与不变
- INT 21H 详解_字符功能调用类
- 如何防范市场中存在的意外风险
- surf 实时 动态图
- Hive概述及入门
- 阿里云:贱卖了啊,5折大促 | 蚂蚁金服脸一黑:我咋这有钱?【软件网每日新闻播报│第10-13期】
- #RxJava2源码解析(2)
- java.lang.NoClassDefFoundError错误分析
- C++学习【原创】copy和copy_backward函数的应用
- python字符串查找的四种方法
- Excel导入导出
- 软考视频总结
- 关于Keil Uv4工具绿化版拷贝到另一台电脑时编译失败显示版本过期问题的解决