学习记录--颤抖吧,hadoop(五)---搭建完全分布式hadoop集群(2)

来源:互联网 发布:伍佰 白鸽 知乎 编辑:程序博客网 时间:2024/04/28 23:55

            上周日(8月20日)接通了网络,做了一些准备工作。打铁趁热,周一(21日)完成hadoop完全分布式的全部。

     简单梳理下主要步骤:

  1. 选定一台机器作为 Master
  2. 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
  3. 在 Master 节点上安装 Hadoop,并完成配置
  4. 在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
  5. 修改各节点hostname,host,  配置ssh,实现无密码登陆(Master对Salve)
  6. 配置Master节点上的hadoop(slaves、core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml).
  7. 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
  8. 在 Master 节点上开启 Hadoop
    上一篇,我们做了这个流程中的前3步。这篇中完成了4--8步。

  主要参考:(感谢)

   1.http://www.powerxing.com/install-hadoop-cluster/

   2.http://www.cnblogs.com/laov/p/3421479.html

    过程还算顺利,遇到的问题:有一台centos6.3的系统下载jdk有问题,(好像是软件源的问题,找了几个方法,无法解决,没有深究。换成了centos6.5系统,问题解决)。

    

附上过程中的图片:


     


集群简单介绍







原创粉丝点击