Hive做数据仓库,对Hadoop Hive 的多用户的资源分配和权限管理 (Hortonworks HDP2.2 hadoop 2.6)
来源:互联网 发布:湖南广电网络控制集团 编辑:程序博客网 时间:2024/04/29 16:03
我正在搭建一个基于Hadoop/hive的数据仓库方案。 使用的Hortonworks的HDP2.2 版本。 数据仓库主要的使用场景(use case) 是
1. 从各数据源通过ETL 将数据汇集到hadoop 和hive中。
2. 在Hive中进行各种归集运算后,将数据结果导出到一个关系数据库中,并通过报表工具将数据展现给用户。
3. 支持数据分析师 直接登录到Hive客户端(Hue) ,使用SQL对hive中的表进行自有查询。
要支持需求1,2 ,我们打算使用类似Kettle 这样的ETL工具, 并配合sqoop 将数据源ETL的过程进行串联和管理。
要支持需求3, 则需要考虑到如何让集群同时为多个用户服务则需要考虑几个方面的功能:
a. 集群计算资源的分配,
当一个用户提交查询sql时, 集群应该自动分配给他相应的计算资源。而避免出现一个用户提交了不合理的任务,长期将集群资源全部占用的情况。
使用yarn的capacity scheduler ,通过为不同的团队分配任务队列, 来实现控制用户间资源争抢的目的。
b. 数据仓库中数据访问的权限管理
用户根据自己的业务需求,对不同的Hive 数据库和表有访问权限。 使用hive的sql standard based authorization ,对不同的用户分配对sql 对象(如表,数据库)的各种权限。
c. 集群存储资源的分配
数据分析师在使用集群计算资源时,可能会生成一些临时表。 也可能将一些数据导入集群。 集群管理员可以给不同用户配置不同的存储配额,以保证集群存储资源被合理利用。
下面我们就分别来看这三个功能如何在HDP2.2 (Hadoop 2.6) 的集群上来实现。
使用CapacityScheduler 来分配Yarn集群计算资源
- Hive做数据仓库,对Hadoop Hive 的多用户的资源分配和权限管理 (Hortonworks HDP2.2 hadoop 2.6)
- Hadoop数据仓库hive的应用
- hive (基于hadoop的数据仓库)
- hive--基于Hadoop的数据仓库Hive 学习指南
- hadoop集群搭建多用户模式的hive
- hadoop和hive的实践应用(二)——基于Hadoop的数据仓库工具hive搭建
- 基于Hadoop的数据仓库Hive 学习指南
- hadoop的数据仓库--Hive初识入门
- [完]基于Hadoop的数据仓库Hive 基础知识
- 基于Hadoop的数据仓库Hive 学习指南
- 基于Hadoop的数据仓库Hive 学习指南
- 基于Hadoop的数据仓库Hive基础知识
- 基于Hadoop的数据仓库Hive 基础知识
- 基于Hadoop的数据仓库Hive 学习指南
- 15.基于Hadoop的数据仓库Hive第2部分
- hadoop+hive 做数据仓库 & 一些测试
- [hadoop]hive的管理(十一)
- 15.基于Hadoop的数据仓库Hive第3部分(Hive编程实践)
- 使用Jenkins进行持续集成(三)-邮箱与用户
- BaseAdapter使用
- 一亩田创始人邓锦宏:当农民在田里也能用手机上网,事情就成了
- eclipse|studio 导出hprof 后用MAT显示报错Unknown HPROF Version
- redis.conf详解
- Hive做数据仓库,对Hadoop Hive 的多用户的资源分配和权限管理 (Hortonworks HDP2.2 hadoop 2.6)
- STL(1)---从对->运算符的重载到灵巧指针再到迭代器
- Kafka: 大数据处理的利器
- LUA require 搜索路径指定方法 和 package
- HDU5326.Work
- git入门资料整理
- 苹果个人开发者账号如何升级成公司账号
- 推荐几个很好的编程在线测试平台 online judge
- UVa 11988 悲剧文本 采用链表