Hadoop 2.0 + hive + hbase 安装手记

来源：互联网发布：java runnable接口编辑：程序博客网时间：2024/06/14 05:44

在Centos6.2部署Hadoop2.0+HIVE+HBASE，相比之前的老版本，新版本的安装还是要更繁琐一些，具体表现在要从众多的配置文件里找出关键的配置项，配置合理的值。

这里有2个难题，第一个是找出关键配置项实在是件费力的事情，有的是操作系统的配置，比如虚拟内存的配置过小会导致outofmemory，系统的nproc和nofile设置，还有环境变量设置，特别是众多的hadoop+hive+hbase设置项。第二个难题是，应该设置多少值是比较合适的，比如虚拟内存倍率（yarn-site.xml中的yarn.nodemanager.vmem-pmem-ratio），默认的2.1就有可能会不够，视情况可以在4或更高。

hbase新的lib的jar包，老版本是需要将hbase_verxx.jar和zookeeper_verxxx.jar拷贝到hive里，新版（0.96）需要拷贝数个jar包到hive目录下，否则会启动失败。

.. ... 待续

看来基于hadoop平台的性能优化将是一个艰巨的任务。。。