java.lang.IllegalArgumentException: KeyValue size too large

来源:互联网 发布:绿色建筑计算软件 编辑:程序博客网 时间:2024/06/06 07:16

今天在做hbase文件存储时遇到了一个问题:

java.lang.IllegalArgumentException: **KeyValue size** too largeat org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1312)at org.apache.hadoop.hbase.client.HTable.doPut(HTable.java:941)at org.apache.hadoop.hbase.client.HTable.put(HTable.java:908)
google了一下 发现时hbase存储大小的配置问题,hbase.client.keyvalue.maxsize 缺省10MB 所以我们要改成自己想要的大小:

网上有说改hbase-site.xml文件:

修改hbase-site.xml

增加

<property><name>hbase.client.keyvalue.maxsize</name><value>524288000</value></property>


但我发现改了后依然抛异常,后来我有改了java代码:

Configuration conf = HBaseConfiguration.create();conf.set("hbase.rootdir", "hdfs://m1:9000/hbase");// 使用eclipse时必须添加这个,否则无法定位conf.set("hbase.zookeeper.quorum", "m1,s1,s2");conf.set("hbase.client.keyvalue.maxsize","524288000");//最大500m

重启 好像可以了!


0 0
原创粉丝点击