hadoop 配置步骤小结

来源:互联网 发布:网络机顶盒 直播 编辑:程序博客网 时间:2024/05/16 17:10

      Hadoop的配置很简单,但是对于新手来说看到那么多的配置文档还是会感觉摸不着头脑,本文不涉及配置的具体方法,只是给出配置过程中的一个主要思路和解决问题的方向,并给出每一步配置成功的检测方法,便于新手查找配置问题,让配置的过程更加有的放矢。

      Hadoop 配置分为JAVA , ssh无密码登录和hadoop的配置。前两项是hadoop运行的基本条件,两者在配置上和hadoop没有直接的联系,只要通过验证方法的命令就可以了。如果碰到不能测试通过的情况就要分析原因,这些原因可以单独处理,网上的方法已经有很多了,大部分别人都遇到过。

  • 安装 Java ,配置好$JAVA_HOME
    • 验证方法:执行 $JAVA_HOME/bin/java -version    #命名执行成功,就算通过了,可以进行下一步
  • 配置无密码登录
    • 验证方法:执行 ssh localhost                                  # 成功登录可以进行下一步
  • 安装hadoop
    • 单机安装: 目前使用版本2.6以上的不用做什么其他配置,验证方法:hadoop_location/bin/hadoop version  #正确显示hadoop版本就算成功 ,另外,还可以执行下hadoop自带的测试实例程序,执行方法参见 参考文档2
    • 伪分布式安装,参见参考文档2.

参考文档:
  1. 配置Hadoop ssh 无密码登录时 遇到的问题: http://blog.csdn.net/haizhiguang/article/details/51481564
  2. Hadoop安装教程_单机/伪分布式配置: http://dblab.xmu.edu.cn/blog/install-hadoop/

===================================================================================

Hbase 配置过程

  • 下载Hbase解压
  • 把hbase/bin放到path里面hbase-env.sh 文件,设置JAVA_HOME
  • 启动hadoop 
  • 启动Hbase
  • 执行hbase version
  • 执行hbase shell #进入hbase shell模式
  • 执行status         # 执行到此处时,第一次的配置过程报了很多错误,由于我的hadoop 采用了比较新的版本2.7,我查看了下Hbase 的版本为1.9,于是把Hbase删掉重新从官网下载一个比较新的使用,目前运行OK。

这个过程中出现的主要问题就是Hbase 的版本和Hadoop的版本如果差距太大的话可能在执行上出现些问题。

0 0
原创粉丝点击