HBase bulkload
来源:互联网 发布:数据同步方案 编辑:程序博客网 时间:2024/05/22 00:34
通过直接生成HFile文件,可以将要保存数据bulkload到HBase中,速度比使用HBase API要快很多。
在生成了HFile之后,一般通过HFileOutputFomat
这个工具来将其导入到HBase表在HDFS中的目录。
遇到的问题
导入HFile时权限不够
在使用HFileOutputFomat
来导入HFile时,很可能会发现导入的过程卡住不动了,如下:
实际上,卡住的原因是因为在loading hfiles时权限不够,可以查看某个region server的日志,会发现如下的内容:
可以看到,用户hdfs生成的HFile所在的HDFS目录的权限状况为 hdfs:supergroup:drwxr-xr-x,而试图loading hfiles的用户名是hbase,自然没有权限去将hfiles移动到其他地方了。
所以,有3种解决途径:
- 使用hbase用户生成HFile,使得生成的HFile的目录的owner为hbase;
- 使用hdfs用户来运行
HFileOutputFomat
; - 配置HDFS系统权限,使得hbase用户有权去移动属于用户hdfs的目录。
0 0
- hbase bulkload
- hbase bulkload
- hbase bulkload
- hbase bulkload
- HBase bulkload
- bulkload方法入hbase
- HBase之普通BulkLoad
- hbase bulkload 使用
- hbase bulkload 实例
- MiniHbaseCluster测试Hbase BulkLoad
- HBase工具之BulkLoad
- HBase的bulkload使用方法
- HBase快速导入数据--BulkLoad
- 利用BulkLoad导入Hbase表
- HBase快速导入数据--BulkLoad
- Bulkload Hive表到HBase
- bulkload向hbase表中入数据
- HBase优化之bulkload写入
- android四大组件
- 收集整理Android开发所需的Android SDK、开发中用到的工具、Android开发教程、Android设计规范,免费的设计素材等。
- Linux下find命令用法小结
- [android] android开发中常用的Eclipse快捷键
- python 工具包总结
- HBase bulkload
- Away3D之AGAL
- CgirdCtrl 使用详解
- 隔振器性能的改进
- leetcode_Best Time to Buy and Sell Stock
- java jsp使用百度的ueditor html编辑器
- java静态模块及构造器初始化顺序
- ResultSet
- OAuth 2.0 . 第三方 登录 (新浪微博、腾讯QQ)