hadoop2.7.3+hbase1.2.5配合起来使用的一个小问题,备注一下
来源:互联网 发布:剑网三大叔脸数据 编辑:程序博客网 时间:2024/04/29 00:33
1,问题现象
hadoop2.7.3+hbase1.2.5配置完成,往HBASE导入数据以后,正常运行,重启hbase+hadoop以后出现下面异常。
rg.apache.hadoop.util.NativeCrc32.nativeVerifyChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;J)V
at org.apache.hadoop.util.NativeCrc32.nativeVerifyChunkedSums(Native Method)
at org.apache.hadoop.util.NativeCrc32.verifyChunkedSums(NativeCrc32.java:57)
at org.apache.hadoop.util.DataChecksum.verifyChunkedSums(DataChecksum.java:291)
at org.apache.hadoop.hdfs.BlockReaderLocal.doByteBufferRead(BlockReaderLocal.java:338)
at org.apache.hadoop.hdfs.BlockReaderLocal.fillSlowReadBuffer(BlockReaderLocal.java:388)
at org.apache.hadoop.hdfs.BlockReaderLocal.read(BlockReaderLocal.java:408)
at org.apache.hadoop.hdfs.DFSInputStream$ByteArrayStrategy.doRead(DFSInputStream.java:642)
at org.apache.hadoop.hdfs.DFSInputStream.readBuffer(DFSInputStream.java:698)
at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:752)
at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:793)
at java.io.DataInputStream.read(DataInputStream.java:149)
at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:192)
at org.apache.hadoop.hbase.util.FSUtils.getVersion(FSUtils.java:495)
at org.apache.hadoop.hbase.util.FSUtils.checkVersion(FSUtils.java:582)
at org.apache.hadoop.hbase.master.MasterFileSystem.checkRootDir(MasterFileSystem.java:460)
at org.apache.hadoop.hbase.master.MasterFileSystem.createInitialFileSystemLayout(MasterFileSystem.java:151)
at org.apache.hadoop.hbase.master.MasterFileSystem.<init>(MasterFileSystem.java:128)
at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:790)
at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:603)
at java.lang.Thread.run(Thread.java:744)
2,解决过程
(1)网上有见过类似问题,但是没有看到解决办法,大约知道是程序版本不匹配导致,hbase+hadoop都是我自己本地编译出来的,编译hbase时也在pom.xml中指定了hadoop的版本。
(2)在hbase的lib下面找ls *hadoop* ,,然后从hadoop 的share目录下找到同名的包替换,成功解决问题。
原因不清楚。
hadoop2.7.3+hbase1.2.5配置完成,往HBASE导入数据以后,正常运行,重启hbase+hadoop以后出现下面异常。
rg.apache.hadoop.util.NativeCrc32.nativeVerifyChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;J)V
at org.apache.hadoop.util.NativeCrc32.nativeVerifyChunkedSums(Native Method)
at org.apache.hadoop.util.NativeCrc32.verifyChunkedSums(NativeCrc32.java:57)
at org.apache.hadoop.util.DataChecksum.verifyChunkedSums(DataChecksum.java:291)
at org.apache.hadoop.hdfs.BlockReaderLocal.doByteBufferRead(BlockReaderLocal.java:338)
at org.apache.hadoop.hdfs.BlockReaderLocal.fillSlowReadBuffer(BlockReaderLocal.java:388)
at org.apache.hadoop.hdfs.BlockReaderLocal.read(BlockReaderLocal.java:408)
at org.apache.hadoop.hdfs.DFSInputStream$ByteArrayStrategy.doRead(DFSInputStream.java:642)
at org.apache.hadoop.hdfs.DFSInputStream.readBuffer(DFSInputStream.java:698)
at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:752)
at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:793)
at java.io.DataInputStream.read(DataInputStream.java:149)
at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:192)
at org.apache.hadoop.hbase.util.FSUtils.getVersion(FSUtils.java:495)
at org.apache.hadoop.hbase.util.FSUtils.checkVersion(FSUtils.java:582)
at org.apache.hadoop.hbase.master.MasterFileSystem.checkRootDir(MasterFileSystem.java:460)
at org.apache.hadoop.hbase.master.MasterFileSystem.createInitialFileSystemLayout(MasterFileSystem.java:151)
at org.apache.hadoop.hbase.master.MasterFileSystem.<init>(MasterFileSystem.java:128)
at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:790)
at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:603)
at java.lang.Thread.run(Thread.java:744)
2,解决过程
(1)网上有见过类似问题,但是没有看到解决办法,大约知道是程序版本不匹配导致,hbase+hadoop都是我自己本地编译出来的,编译hbase时也在pom.xml中指定了hadoop的版本。
(2)在hbase的lib下面找ls *hadoop* ,,然后从hadoop 的share目录下找到同名的包替换,成功解决问题。
原因不清楚。
0 0
- hadoop2.7.3+hbase1.2.5配合起来使用的一个小问题,备注一下
- cancel_rearming_delayed_workqueue 函数使用的一个小备注
- Hbase1.2.5 hadoop2.7.3 importsv实例
- hbase1.2.3+zookeeper3.4.9+hadoop2.7.3完全分布式部署遇到的问题
- 记录一下使用git遇到的一个小问题
- Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
- Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
- 使用Eclipse连接hbase1.1 hadoop2.6
- Hadoop2.7.3 + HBase1.2.3 + ZooKeeper3.4.9 整合
- 使用RecyclerView配合baserecyclerViewadapter出现小问题
- 一个小问题,测试一下你的语文水平
- 再记一下sscanf的一个小问题
- 遇到了一个C++的小问题,百度了一下
- Hibernate的小备注
- Matlab调用C的时候的一个小备注
- hbase1.2.3集群搭建(基于hadoop2.7.3)
- 【Hbase】Hbase1.2.4在hadoop2.7.3中的可执行java代码
- CentOS6.9+Hadoop2.7.3+Hive1.2.1+Hbase1.3.1+Spark2.1.1
- 总结调试过程中怎么去抓log
- java JDBC Statement使用方法
- #游戏unity#AR手机游戏的平台构建(下)
- HDU2669
- MySQL 数字类型转换函数(concatcast)
- hadoop2.7.3+hbase1.2.5配合起来使用的一个小问题,备注一下
- 条形码和二维码控件推荐
- 表达式语言(EL)在jsp中的使用
- dorado学习笔记
- Spark-特征选择(scala)
- 五大常用算法(三)贪心算法
- NOYJ83——迷宫寻宝(二) 计算几何
- 内网外网
- JAVA多线程:线程同步