hive 结构
来源:互联网 发布:网络与手机失泄密 编辑:程序博客网 时间:2024/04/26 23:55
HIVE
MetaStrore element:table...
Driver
compiler parsing:get table.... from metastore -> logical plan
parseDriver abstract tree
semanticAnalyzer query block
logical plan generator logical plan
query plan generator:logical plan->pyhsical plan physical plan
optimizer optimze logical plan using 列修剪/谓词下压
executer use DAG to generate jobs chain->顺序执行job: each job is a mapreduce task(mapreduce script)
如存在依赖关系,先执行完父job再是子job
interface
CLI bin/hive --service cli
HWI bin/hive --service hwi port:9999
ThriftServer bin/hive --service hiverserver port:10000
DBS
DataBase(dir in hive) hive.metastore.warehouse.dir hive-site.xml
table(dir in hive) internal table external table
partition(dir in hive)
bucket(1 file in hive)
table:
internal table
表元数据存放在metastore
external table
存放在外部介质中
Datatype
Numeric
Decimal
Float
double
Int(BIGINT,SMALLINT,TINYINT,INT)
Date/Time
TIMESTAMP
DATE
String
String
Char
varchar
Advanced
STRUCT struct('a','b')
MAP map('1','a','2','b')
ARRAY array('a','b')
[graph]
Hadoop
Job Tracker get job and meta data for the job
Task Tracker Mapreduce execution and finally return to executer and the executer return to client
tips:
1 存储metastore的库采用高可用方式,即存在堕胎数据库防止单点
- Hive 结构
- HIVE 结构
- hive结构
- hive 结构
- Hive结构
- Hive结构
- hive2:HIVE的结构
- Hive复杂结构表示
- hive 高级结构
- 修改Hive表结构
- 浅谈 hive 的结构
- Hive 结构[笔记2]
- Hive数据存储结构
- Hive随谈(二):Hive结构
- Hive 随谈(二)– Hive 结构
- Hive 随谈(二)– Hive 结构
- Hive 随谈(二)– Hive 结构
- Hive-JSON 原始数据映射 Hive 表结构
- Zenefits 第一轮编程题
- [leetcode] 253. Meeting Rooms II 解题报告
- 周赛题解报告-2013 亚洲南京区域赛
- 8VC Venture Cup 2016 - Final Round (Div. 2 Edition) D635 - Factory Repairs 线段树
- transformation action
- hive 结构
- 学习Javascript闭包(Closure)讲的很深入透彻
- DE 27 Sketching Solutions of 2x2 Homogeneous Linear System with Constant Coefficients
- DE28 Matrix Methods for Inhomogeneous Systems
- [leetcode] 49. Group Anagrams 解题报告
- Hive QL
- vector的详细用法---线程安全
- 带侧边栏字母索引的列表--重写Button类
- [leetcode] 249. Group Shifted Strings 解题报告