hadoop+hive+hbase+zookeeper常见Bug

来源：互联网发布：公安机关优化发展环境编辑：程序博客网时间：2024/05/18 03:08

1.在学习hadoop中遇到了很多错误，专门写篇文章来记录这些错误，今天只遇到一个，以后会不定期更新。

2.bug1: Directory /tmp/hadoop-lei/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.

解决方法:重新格式化就ok了，命令namenode -format

3.使用hive时查询数据为NULL，原因在于源数据的格式和设置表的格式，不相匹配造成的。

举例：源数据 1 zhang 中间是空格，而表中是制表符。这种情况就是造成null.

4.window下hbase遇到java.net.UnKnownHostException:unknown host //host代表主机名

解决方法：在C:\Windows\System32\drivers\etc\hosts 文件中加入如下信息如 linux主机的ip地址主机名

5.使用yarn 时无法访问19888端口。原因在于jobhistoryserver进程没有开启，

解决方法：sbin/mr-jobhistoryserver-daemon.sh start historyserver

6.配置zookeeper时失败，配置server.1=xxx时，我是自己由软件编辑的。就是不能正常启动。

解决方法：去安装文档直接复制server.1=xxx，然后改动一下。就行了，我也不明白这是啥原因造成的。

7.配置HDFS HA时访问文件系统时，访问到的是本地文件系统，原因在于：在core-site.xml没有配置

<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>

我之前就配置到了hdfs-site.xml文件中，所以一直就只能访问到本地文件系统。ns1指的是命名空间

9.hadoop namenode启动异常

FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-xxx/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.

解决方法：重新进行格式化

10：在linux下运行Error: java.lang.RuntimeException: java.lang.ClassNotFoundException

解决方法：在主函数中加入job.setJarByClass(WordDemo.class); WordDemo指是是运行主类

11:开发hadoop程序时:报错Caused by: java.io.IOException: Type mismatch in value from map 问题应该是map输出和设置的map输出不对应所导致的。

解决方法：在主函数中设置正确设置map输出

0 0