Linux7 下Hadoop集群用户管理方案之一 用户管理集群方案概述
来源:互联网 发布:java 图片识别 编辑:程序博客网 时间:2024/05/21 22:57
分为几个步骤
- 方案调研
- CM的部署
- Kerberos的安装与集成
- 方案的实践 实现添加用户功能
第一部分:方案的调研与确认
需要做一个大数据教育平台,面向学校,培训机构等,可以基于同一个大数据基础环境,学生可以进行大数据实践,而不需要复杂的搭建过程。
HDFS章节:
想做到这一点,不可避免的就是数据隔离的问题,文件不能被互删,只能读取自己的文件,这是我们首要面临的问题。为了解决这个问题调研了很多种方式。最终选用的方式是:
基于Kerberos的认证,基于HDFS的权限管理的方案。
我们知道HDFS的权限是基于POXIS接口模型,类似于linux的权限管理。可以实现基本的数据权限管理。但是HDFS有一个问题就是,默认是没有用户认证的。他采用的是当前系统用户,即在linux下输入命令 'whoami' 得到的用户,而其他的客户端访问HDFS时,也可以设置系统变量来修改这个用户名,导致所有的客户端访问HDFS主节点都可以有最高的权限,删除所有的文件。这是一个件非常危险的事情。
通过两个图来说明一下更直接明了。
图中在hdfs中创建了目录,并且拥有人设置为shihy,权限是700,只有拥有人有权限操作。
用户shihy访问时,通过设置系统用户shihy可以访问。
用户liulei访问时,设置为liulei不可以访问。这是没有问题的。
但是,用户liulei设置系统用户为shihy,那hdfs就认为访问用户就是shihy,就可以访问了,而真实用户其实是liulei。
可以可出,不同的用户,可以通过修改 "HADOOP_USER_NAME" 这个内部属性来修改HDFS识别到的系统用户。
这就需要使用其他方式来做用户的认证,来确认,访问用户A就是A,而不是B。
这里就引入了hdfs支持的一种网络认证协议Kerberos。非常的安全,感兴趣的可以调到这里详细看一下原理。
http://biz.chinabyte.com/189/2038189.shtml
最终就确定了我们的方案。
- 使用Kerberos做用户认证。证明A就是A,而不是B。规避伪造用户的风险。
- 使用HDFS的原生协议做权限认证。为每个用户创建自己的私有目录。
0 0
- Linux7 下Hadoop集群用户管理方案之一 用户管理集群方案概述
- Linux7 下Hadoop集群用户管理方案之五 安装Hadoop集群遇到的坑
- Linux7 下Hadoop集群用户管理方案之三 用户认证组件Kerberos安装
- Linux7 下Hadoop集群用户管理方案之二 CDH5.9.0版本安装配置
- Linux7 下Hadoop集群用户管理方案之四 CDH集成Kerberos
- CVSNT用户管理方案
- CVSNT用户管理方案
- CVSNT用户管理方案
- CVSNT用户管理方案
- CVSNT用户管理方案
- CVSNT用户管理方案
- CVSNT用户管理方案
- CVSNT用户管理方案
- asterisk用户管理方案
- 《CVSNT用户管理方案》
- CVSNT用户管理方案(zz)
- centos集群方案3--端口映射|网络管理
- Nginx+memcached+tamcat7集群管理配置方案
- 移动端服务器端身份证识别演示
- 文章标题
- java实现注册界面设计
- MQ收发顺序消息
- HDU 6027 Easy Summation
- Linux7 下Hadoop集群用户管理方案之一 用户管理集群方案概述
- zookeeper架构
- C++ 图的遍历(广度优先遍历)
- centos安装pip
- Easy-26
- 二叉树遍历序列还原
- socket,tcp,http三者之间的区别和原理
- Spring——@Autowire冲突问题
- jsp三种注释方法