java.net.UnknownHostException 错误排查

x帅timeline项目起不来，连接phoenix的时候，报错java.net.UnknownHostException: beh，此错误以前遇到过，没有深入研究，大概上是因为无法找到hdfs的主机，一般上这个地址是在hdfs-site.xml和core-site.xml配置中配置的。

本机测试，发现没有问题，然后采用对比排除法（即逐步对比x帅的配置与自己的配置），最后因为这个坑，导致自己在替换的过程中，没有做到完全客观，忽略了resource路径下的hbase-site.xml文件，导致最后自己的项目在配置未更换的情况下也起不来了。

后更换164集群进行测试，结果依然。

还是怀疑是配置问题，但是已经没有线索，只能根据堆栈，生啃代码。
报错如下：

11:26:44.779 [main] WARN  c.b.m.t.p.DefaultPhoenixDataSource - Unable to connect to HBase store using Phoenix.java.sql.SQLException: ERROR 103 (08004): Unable to establish connection.    at org.apache.phoenix.exception.SQLExceptionCode$Factory$1.newException(SQLExceptionCode.java:422)    at org.apache.phoenix.exception.SQLExceptionInfo.buildException(SQLExceptionInfo.java:145)    at org.apache.phoenix.query.ConnectionQueryServicesImpl.openConnection(ConnectionQueryServicesImpl.java:393)    at org.apache.phoenix.query.ConnectionQueryServicesImpl.access$300(ConnectionQueryServicesImpl.java:211)    at org.apache.phoenix.query.ConnectionQueryServicesImpl$13.call(ConnectionQueryServicesImpl.java:2272)    at org.apache.phoenix.query.ConnectionQueryServicesImpl$13.call(ConnectionQueryServicesImpl.java:2251)    at org.apache.phoenix.util.PhoenixContextExecutor.call(PhoenixContextExecutor.java:78)    at org.apache.phoenix.query.ConnectionQueryServicesImpl.init(ConnectionQueryServicesImpl.java:2251)    at org.apache.phoenix.jdbc.PhoenixDriver.getConnectionQueryServices(PhoenixDriver.java:233)    at org.apache.phoenix.jdbc.PhoenixEmbeddedDriver.createConnection(PhoenixEmbeddedDriver.java:135)    at org.apache.phoenix.jdbc.PhoenixDriver.connect(PhoenixDriver.java:202)    at java.sql.DriverManager.getConnection(DriverManager.java:664)    at java.sql.DriverManager.getConnection(DriverManager.java:270)    at com.bonc.manager.timeline.phoenix.DefaultPhoenixDataSource.getConnection(DefaultPhoenixDataSource.java:141)    at com.bonc.manager.timeline.phoenix.PhoenixHBaseAccessor.getConnection(PhoenixHBaseAccessor.java:119)    at com.bonc.manager.timeline.phoenix.PhoenixHBaseAccessor.initMetricSchema(PhoenixHBaseAccessor.java:143)    at com.bonc.manager.timeline.phoenix.aggregate.TimelineMetricStore.init(TimelineMetricStore.java:36)    at com.bonc.manager.timeline.listener.ApplicationStartup.initPhoenix(ApplicationStartup.java:35)    at com.bonc.manager.timeline.listener.ApplicationStartup.onApplicationEvent(ApplicationStartup.java:28)    at com.bonc.manager.timeline.listener.ApplicationStartup.onApplicationEvent(ApplicationStartup.java:1)    at org.springframework.context.event.SimpleApplicationEventMulticaster.invokeListener(SimpleApplicationEventMulticaster.java:166)    at org.springframework.context.event.SimpleApplicationEventMulticaster.multicastEvent(SimpleApplicationEventMulticaster.java:138)    at org.springframework.context.support.AbstractApplicationContext.publishEvent(AbstractApplicationContext.java:382)    at org.springframework.context.support.AbstractApplicationContext.publishEvent(AbstractApplicationContext.java:336)    at org.springframework.context.support.AbstractApplicationContext.finishRefresh(AbstractApplicationContext.java:877)    at org.springframework.boot.context.embedded.EmbeddedWebApplicationContext.finishRefresh(EmbeddedWebApplicationContext.java:144)    at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:544)    at org.springframework.boot.context.embedded.EmbeddedWebApplicationContext.refresh(EmbeddedWebApplicationContext.java:122)    at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:761)    at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:371)    at org.springframework.boot.SpringApplication.run(SpringApplication.java:315)    at com.bonc.manager.timeline.ApplicationService.main(ApplicationService.java:28)Caused by: java.io.IOException: java.lang.reflect.InvocationTargetException    at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240)    at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:433)    at org.apache.hadoop.hbase.client.ConnectionManager.createConnectionInternal(ConnectionManager.java:342)    at org.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnectionManager.java:144)    at org.apache.phoenix.query.HConnectionFactory$HConnectionFactoryImpl.createConnection(HConnectionFactory.java:47)    at org.apache.phoenix.query.ConnectionQueryServicesImpl.openConnection(ConnectionQueryServicesImpl.java:390)    ... 29 common frames omittedCaused by: java.lang.reflect.InvocationTargetException: null    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)    at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:238)    ... 34 common frames omittedCaused by: java.lang.ExceptionInInitializerError: null    at org.apache.hadoop.hbase.ClusterId.parseFrom(ClusterId.java:64)    at org.apache.hadoop.hbase.zookeeper.ZKClusterId.readClusterIdZNode(ZKClusterId.java:75)    at org.apache.hadoop.hbase.client.ZooKeeperRegistry.getClusterId(ZooKeeperRegistry.java:105)    at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.retrieveClusterId(ConnectionManager.java:919)    at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.<init>(ConnectionManager.java:657)    ... 39 common frames omittedCaused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: beh    at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374)    at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:310)    at org.apache.hadoop.hdfs.NameNodeProxies.createProxy(NameNodeProxies.java:176)    at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:708)    at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:651)    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:149)    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2696)    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2733)    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2715)    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:382)    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)    at org.apache.hadoop.hbase.util.DynamicClassLoader.initTempDir(DynamicClassLoader.java:120)    at org.apache.hadoop.hbase.util.DynamicClassLoader.<init>(DynamicClassLoader.java:98)    at org.apache.hadoop.hbase.protobuf.ProtobufUtil.<clinit>(ProtobufUtil.java:241)    ... 44 common frames omittedCaused by: java.net.UnknownHostException: beh    ... 59 common frames omitted

根据堆栈，主要问题是hdfs创建的时候无法解析域名，怀疑是配置文件的问题，首先确认了 org.apache.hadoop.fs.FileSystem.createFileSystem方法的参数conf中hbase.rootdir的配置确实为hdfs://beh/hbase;
然后跟踪conf初始化的地方为ProtobufUtil类，该类为protobuf通信工具类。
关键语句即为如下代码

    Configuration conf = HBaseConfiguration.create();

通过跟踪发现，conf会包含core-default.xml,hdfs-default.xml,hbase-default.xml,hbase-site.xml四个文件。
通过输出conf的配置值也能确认确实是这四个配置，现在的问题是这四个配置文件的位置。

因为phoenix连接只需要提供zookeeper地址，所以我一直以为配置文件存在zookeeper中，但查看zookeeper存储，并未发现这些配置。

没有线索，继续跟代码，通过跟踪发现，Configuration类的loadResource是最终加载配置的方法。
跟踪hbase-site.xml的加载过程，有意外发现，代码进入第一个else if，即配置参数被当成字符串处理，比较奇怪的是这个url，处理后该值是
F:\work\svn\BEH-Manager\BEH-Manager\BEH-Manager-timeline\target\classes\hbase-site.xml。

      if (resource instanceof URL) {                  // an URL resource        doc = parse(builder, (URL)resource);      } else if (resource instanceof String) {        // a CLASSPATH resource        URL url = getResource((String)resource);        doc = parse(builder, url);

囧囧囧，原来是意外将hbase-site.xml放到resource中后，它意外的发挥了资源文件的作用，被hbase读取后引起问题。

将该配置文件挪到其他位置后，问题果然消失。

跟踪挪走后的配置加载，发现整个加载过程使用的都是默认配置，并未使用集群实际配置。
规到底，是对配置文件的加载理解不甚详细导致。

附：
在此需要感谢idea强大的跟踪源代码和debug能力，简单说两个使用的特点。
1. 自动反编译功能，就是将class文件反编译成java文件，并且可以断点跟踪。
2. 在1的基础上，自动下载源代码，进行匹配，这个也比较爽。