用Java访问带有Kerberos认证的HBase

开始之前

   因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。

   Kerberos是一个认证中心，客户端在访问HBase前必须通过认证才能访问，下图是Kerberos的认证图：

  

 我们不需要详细介绍Kerberos的原理，但是大概流程可以说一下：

当HBase客户端访问HBase的时候，首先必须访问KDC获取一个经过授权的票据，以后Client在访问HBase server的时候可以通过这个票据进行访问。

正常情况下当我们通过HBase客户端访问的时候，都需要进行一次认证的过程，认证过后，KDC返回的票据具有有效期，一般默认是10小时，换句话说在这10个小时内你不需要再次登录KDC进行认证。

1，Linux客户端认证方式

 

 如果我们现在处在Linux客户端上想进行HBase Client的Kerberos认证怎么办，我们怎么登录KDC进行认证？  在Linux有一个Kinit可以完成这种认证过程，可以通过kinit之后，传入必要的参数（例如用户名和密码）等就可以认证。 同时Kerberos还提供了另外一种方式就是我们可以通过一个.keytab  文件直接认证，这样我们就不需要记住这些密码了，keytab这个文件从哪来的呢，这也是在配置Hadoop的时候通过一个ktutil工具生成的。我们可以理解成.keytab文件是带有密码的一个文件就可以了，只要拿到这个文件我们就可以在linux机器上运行kinit 完成这个登录认证的过程 (其中hbase.keytab是服务端生成的文件)

kinit -k -t /etc/hadoop/conf/hbase.keytab hbase/[e-mail]

认证完成后我们就可以直接用 hbase shell操作Hbase了

2， Java程序认证方式

通过Linux kinit 命令我们很容易的完成认证，但是如果要是用Java程序编码怎么完成这种登录认证呢？

  2.1 我们把服务器端的 hbase.keytab 文件 copy到 本地一个磁盘，例如 c:\

  2.2 我们copy远程集群一个hbase-site.xml文件放到你运行环境的classpath下，这个和正常没有kerberos的HBase访问是一样的

  2.3 接下来我们需要用到 UserGroupInformation API来进行访问，这个API需要一个参数 principal 和一个你的 keytab 文件，这里文件里面存储的是相关的密码

  程序代码实例如下：

  

package com.hbasedemo;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.KeyValue;

import org.apache.hadoop.hbase.client.HTable;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.client.ResultScanner;

import org.apache.hadoop.hbase.client.Scan;

import org.apache.hadoop.security.UserGroupInformation;

public class Test {

       private static Configuration conf = null;

       static {

             // 这个配置文件主要是记录 kerberos的相关配置信息，例如KDC是哪个IP？默认的realm是哪个？

             // 如果没有这个配置文件这边认证的时候肯定不知道KDC的路径喽

             // 这个文件也是从远程服务器上copy下来的

            System. setProperty("java.security.krb5.conf", "C:/Users/dongzeguang/Downloads/krb5.conf" );

            

             conf = HBaseConfiguration.create();

             conf.set("hadoop.security.authentication" , "Kerberos" );

             // 这个hbase.keytab也是从远程服务器上copy下来的, 里面存储的是密码相关信息

             // 这样我们就不需要交互式输入密码了

             conf.set("keytab.file" , "C:/Users/Downloads/hbase.keytab" );

             // 这个可以理解成用户名信息，也就是Principal

             conf.set("kerberos.principal" , "hbase/[e-mail]" );           

            UserGroupInformation. setConfiguration(conf);

             try {

                  UserGroupInformation. loginUserFromKeytab("hbase/[e-mail]", "C:/Users/Downloads/hbase.keytab" );

            } catch (IOException e) {

                   // TODO Auto-generated catch block

                  e.printStackTrace();

            }

      }

       public static void scanSpan(final String tableName) throws Exception {

            HTable table =  new HTable(conf, tableName);

            System. out.println("tablename:" +new String(table.getTableName()));

            Scan s = new Scan();

            ResultScanner rs = table.getScanner(s);

            

             for (Result r : rs) {

                  System. out.println(r.toString());

                  KeyValue[] kv = r. raw();

                   for (int i = 0; i < kv.length; i++) {

                        System. out.print(new String(kv[i].getRow()) + "");

                        System. out.print(new String(kv[i].getFamily()) + ":");

                        System. out.print(new String(kv[i].getQualifier() ) + "" );

                        System. out.print(kv[i].getTimestamp() + "" );

                        System. out.println(new String(kv[i].getValue() ));

                  }

            }

      }

       /**

       * @param args

       */

       public static void main(String[] args) {

             // TODO Auto-generated method stub

             try {

                  Test. scanSpan("h_span");

            } catch (Exception e) {

                   // TODO Auto-generated catch block

                  e.printStackTrace();

            }

      }

}