使用cloudera CHD3u1 —— 使用eclipse plugin提交Job

转自：http://heipark.iteye.com/blog/1178810 

Clouder CDH3B3 开始后hadoop.job.ugi不再生效，这意味着无法通eclipse plugin提交job和修改hdfs。

大家初次使用hadoop eclipse plugin一定在修改HDFS文件过程中出现过下面的错误

org.apache.hadoop.security.AccessControlException: Permission denied: user =test , access=WRITE, inode="pokes":hadoop:supergroup:rwxr-xr-x

 问题在于我当前OS用户名为“test”，这个值是hadoop通过 System.getProperty("user.name") 获取的，如果当前用户名和HDFS文件所属用户名不一致，修改HDFS文件时则会报AccessControlException，怎么解决呢？办法是修改hadoop插件的“hadoop.job.ugi”属性为"hadoop,hadoop"就可以了，告诉hdfs我当前就是hadoop用户，这个属性也可以在代码里设置。

    最近部署了一个CDH版本Hadoop集群，首先发现的是它的eclipse plugin和Apache hadoop plugin不兼容，需要手工编译（这个jar文件在这里可以下到：http://heipark.iteye.com/admin/blogs/1178756），接着发现hadoop plugin属性配置页面没有hadoop.job.ugi配置项了，在代码中设置也不好使，还是报AccessControlException。出现什么情况呢？看看cloudera的公告：

 https://ccp.cloudera.com/display/CDHDOC/Incompatible+Changes 写道：

The hadoop.job.ugi configuration no longer has any effect. Instead, please use the UserGroupInformation.doAs API to impersonate other users on a non-secured cluster. (As of CDH3b3)

 

cdh基于安全考虑建议如下方式提交job和修改hdfs：

创建一个kerberos用户，这里叫oozie（其实它是一个开源hadoop workflow框架），然后通过代理方式提交job，即，让当前客户端用户模拟成oozie这个授权用户做操作。

具体信息参考这里：http://archive.cloudera.com/cdh/3/hadoop/Secure_Impersonation.pdf

这里说下两种基于试验目的的获取权限的方法：

1. 关闭dfs权限管理，方法是修改hdfs-site.xml文件设置属性dfs.permissions为false；
2. 通过代码将当前用户设置为集群管理者权限，这里我设置当操作者为hadoop，代码如下：

Java代码

1. <SPAN><SPAN style="FONT-SIZE: small">UserGroupInformation ugi = UserGroupInformation.createRemoteUser("hadoop");   
2. try {   
3.     ugi.doAs(new PrivilegedExceptionAction<Void>() {   
4.         public Void run() throws IOException {   
5.             Job job = new Job(initConf(), "tencent m/r");   
6.             // do something   
7.             System.exit(job.waitForCompletion(true) ? 0 : 1);   
8.             return null;   
9.         }   
10.     });   
11. } catch (InterruptedException e) {   
12.     e.printStackTrace();   
13. }</SPAN></SPAN>  

UserGroupInformation ugi = UserGroupInformation.createRemoteUser("hadoop");try {ugi.doAs(new PrivilegedExceptionAction<Void>() {public Void run() throws IOException {Job job = new Job(initConf(), "tencent m/r");// do somethingSystem.exit(job.waitForCompletion(true) ? 0 : 1);return null;}});} catch (InterruptedException e) {e.printStackTrace();}