使用Hadoop ACL 控制访问权限
来源:互联网 发布:chrome淘宝比价插件 编辑:程序博客网 时间:2024/06/01 10:38
使用Hadoop ACL 控制访问权限
一、HDFS访问控制
hdfs-site.xml设置启动acl
<property>
<name>dfs.permissions.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.namenode.acls.enabled</name>
<value>true</value>
</property>
core-site.xml设置用户组默认权限.
<property>
<name>fs.permissions.umask-mode</name>
<value>002</value>
</property>
各需求和解决办法如下:
1.除了数据仓库负责人,普通用户不能创建数据库,也不能在默认库中创建表.
/user/hive/warehouse的默认权限改为755,所有者是hadoop(或者数据仓库负责人),那么没有人能创建数据库,也不能在默认库中创建表.2.数据仓库负责人创建数据库之后,可以分配给项目组,该项目组可以在此数据库建立表.
/user/hive/warehouse/数据库.db的所有者改为项目组.3.数据仓库负责人创建数据库之后,不把创建表的权限分给项目组,而为其创建表,只允许项目组插入分区.
数据仓库负责人继续保持/user/hive/warehouse/数据库.db的权限,项目组不能建立表,数据仓库负责人为项目组创建表之后,把表所在的目录分给项目组.4.某些表只能本项目组读写.
/user/hive/warehouse/数据库.db/表名所在的目录改为770 .5.某些表只能本项目组的特殊用户读写.
/user/hive/warehouse/数据库.db/表名所在的目录的所有者改为此用户,并且权限改为700 .6.项目组的表,需要其它组的特别用户插入数据.
使用以下的命令可以mapngxu对dntest.db的表testp1有写权限 hdfs dfs -setfacl -R -m user:mapengxu:rwx /user/hive/warehouse/cdntest.db/testp17.项目组的表,需要其它组的特别用户有读到数据的权限.
hdfs dfs -setfacl -R -m user:mapengxu:r-x /user/hive/warehouse/cdntest.db/testp18.项目组的表,需要其它组的所有用户有读到数据的权限.
hdfs dfs -setfacl -R -m group:data_sum:r-x /user/hive/warehouse/cdntest.db/testp19.创建默认数据库,此数据库所有用户都有创建 表的权限,但只保存30天.
/user/hive/warehouse/数据库.db的权限改为777,并且设置定时任务扫描该目录及hive数据库。如果有创建时间超过30天的表,删除表及所在目录。10.该措施和基础SQL的访问控制结合。
任务调度
按用户组管理队列,在入口机和jenkins权限统一,按所在组分配资源,方便按项目组统计各项目组每天,每周占用多少集群资源. mapred-site.xml配置如下:<property>
<name>mapred.acls.enabled</name>
<value>true</value>
</property>
<property>
<name>mapred.fairscheduler.poolnameproperty</name>
<value>group.name</value>
</property>
fair-scheduler.xml配置如下:
<?xml version="1.0"?>
<allocations>
<pool name="cdn">
<maxResources>1000 vcores</maxResources>
<maxRunningJobs>10</maxRunningJobs>
<weight>1.0</weight>
<schedulingPolicy>fair</schedulingPolicy>
</pool>
<pool name="data_sum">
<maxResources> 1000 vcores</maxResources>
<maxRunningJobs>10</maxRunningJobs>
<weight>1.0</weight>
<schedulingPolicy>fair</schedulingPolicy>
</pool>
<userMaxAppsDefault>2</userMaxAppsDefault>
<queuePlacementPolicy>
<rule name="primaryGroup" create="false" />
<rule name="secondaryGroupExistingQueue" create="false" />
<rule name="user" create="false"/>
<rule name="reject"/>
`
`
- 使用Hadoop ACL 控制访问权限
- acl访问权限控制
- Linux ACL访问控制权限
- OpenLDAP:用ACL控制访问权限
- OpenLDAP:用ACL控制访问权限
- HDFS文件权限及ACL访问控制
- hadoop中使用ACL管理HDFS权限
- Linux下使用ACL命令实现控制用户的目录访问权限
- zookeeper使用acl进行访问控制
- ZooKeeper使用ACL进行访问控制
- 网络层访问权限控制技术-ACL详解
- 网络层访问权限控制技术-ACL详解
- LINUX 单个用户访问权限控制(ACL)
- hdfs ACL对文件夹实现权限访问控制
- 权限管理 访问控制模型ACL和RBAC
- 文件的权限和访问控制列表(ACL)
- 文件访问控制列表ACL及特殊权限
- acl权限控制详解
- POJ 3253 Fence Repair
- 微信仿制的时候常用的抓包工具
- css3基本选择器
- Skinned Mesh原理解析和一个最简单的实现示例
- [Astar2015]矩形面积解题报告
- 使用Hadoop ACL 控制访问权限
- h5播放音乐
- Nim教程翻译(二)
- 4-1
- vim保存并退出
- css3属性选择器
- UNP chapter3 习题3.3
- 【HAOI 2007】【BZOJ 1053】反素数ant
- C语言笔记