Hadoop环境搭建

来源:互联网 发布:粗棒针淘宝 编辑:程序博客网 时间:2024/06/08 02:32

  万事开头就是个搭建!

  Hadoop是干嘛的?传送门

  正式的应用场景下,Hadoop将会进行在一个很多台Linux服务器组成的大集群上,首先我们就把这个环境给搞起来。现实情况是,没有很多台Linux服务器,所以第一步,虚拟机搞起来。很多培训教程都是将hadoop先搭建一个单机的模式,我建议大家直接搞3个虚拟机,一个master两个slave(这种叫法虽不正确,但是一下就懂),这样会更贴近真实环境一些,对我们观察hadoop的动作和理解原理更有一些帮助。

虚拟机安装

     虚拟机软件多得很,主要需要注意的就是安装的系统版本和网络设置

     系统必然是centos,版本建议大家先使用稳定的6.5.网络设置为host-only模式,一个封闭稳定的网络环境用来学习最适合不过了。在window下的搭建网上一搜一堆。下面给出我的环境Mac+Parallels Desktop的网络设置细节。

      1:设置Parallels网卡,在 系统偏好设置 /网络 中大家会找到一个Parallels Host-Only #1,点击 “高级”,如下设置,其中ipv4的地址129大家随意改,剩下的就这样吧.

然后打个3个虚拟机,设置各自的IP, 我的master为192.168.0.100,slave1为192.168.0.101,slave2为192.168.0.102

国际惯例所有机器的子网掩码为255.255.255.0,网关为192.168.0.1。OK

用ssh工具连接吧,我用的是SecureCRT。登陆成功互相ping一下,全部连通进行下一步。

免密码登陆

所有的分布式系统都需要机器之间免密钥登陆

    


0 0