hbase+hadoop运维的一点经验
来源:互联网 发布:mysql 停止主从同步 编辑:程序博客网 时间:2024/05/16 06:14
目前系统上线,不断的有新问题,也不断的在总结一些经验,发在这里,做下mark,同时也为hbase使用者提供一些思路吧。
1、单条rowkey下虽然能支持百万列,但是建议不要这么做,因为真正一个rowkey下挂了这么多数据时会在两个地方出现问题,一是查询时单行记录数据量过大,client超时;第二个问题是regionserver做compact的过程有可能被单条rowkey的数据塞满内存造成OOM
2、datanode的handler的数量不要默认值,太少,要在100左右,另外regionserver的handler的数量在200左右比较合适
3、resultScannser使用完毕记得关闭
4、HTablePool可以管理HTable。查询结束后直接用HTablePool.put(HTable t)来回收,入库结束后记得table.flushCommit()后再回收
5、mapred.local.dir这个参数是mapreduce会在机器的硬盘上做临时文件的存放,如果挂载的多块盘请将每个盘都配上,提升总体性能
6、map阶段的输出可以配置LZO压缩,这样能有效节省map->reduce阶段的网络带宽,不过会提高cpu的占用率
7、多网卡绑定能有效提高hadoop体系的网络带宽
8、bulkload目前测试的性能在单节点51GB/小时左右,希望其他有做过的同学能交流一下bulkload方面的问题。- hbase+hadoop运维的一点经验
- hbase+hadoop运维的一点经验
- hbase+hadoop运维的一点经验
- hadoop备战:hbase的分布式安装经验
- HBase运维经验
- HBase Zookeeper的一些运维经验
- HBase的一点纪要
- 【hadoop Hbase】hbase的安装
- GOOGLE的一点经验
- 的一点经验
- CGI的一点经验
- Hibernate的一点经验
- 爬虫的一点经验
- 程序员的一点经验
- 运维经验分享:Hadoop管理员的十个最佳实践
- 运维经验分享:Hadoop管理员的十个最佳实践
- Hadoop实战(5)_Hadoop的运维经验
- Hadoop---HBase的安装
- Java 学习历程二之正则表达式
- 对PAR DAR SAR的理解
- SPB Shell 3D:打造最酷3D效果的Android界面
- LUA源代码压缩包
- 关于ADO.NET数据库操作中的增删改查讲解
- hbase+hadoop运维的一点经验
- sql server 2005还原sql server 2000的数据库备份
- 用UltraEdit打造顺手perl ide
- 用友U872《合同管理》模块操作手册
- 设计模式学习中……
- SOJ-2511(两次用栈,一次从前往后一次从后往前)
- 如何获取年、月、日、时、分、秒、星期几等
- BT Porting on Wince
- hbase中服务器时间不同步造成的regionserver启动失败