利用虚拟机的hadoop原生集群搭建

Hadoop原生集群搭建

1、  下载虚拟机

 

2、  在虚拟机下新创建一个文件夹，取名hadoop

 

3、  新建虚拟机，取名h1，需要4g内存，centos64位，linux系统

 

4、  安装minimal版本的Linux系统，其中主机名设置成c1，分区设置好 swap分区2048MB，/boot 300MB

 

5、  启动后关机，在设置选项先将网络适配器移除，克隆两个虚拟机出来，设置成h2,h3，将h2,h3内存设置成1G

 

6、  启动h1,h2,h3，在三台虚拟机的设置中分别将网络适配器添加上，屏幕会闪一下，不用管他，然后ifconfig查看是否有了网卡eth0，没有的话，分别在每个虚拟机设置的网络适配器的高级选项中将每个虚拟机的mac地址记下来，然后vi /etc/sysconfig/network-script/ifcfg-eth0，其中对应的mac地址要相同，保存退出后就好了

 

7、  在h1下设置主机名为c1

hostnamec1

vi/etc/sysconfig/network将主机名改成c1

vi/etc/hosts 添加三条记录

c1的IP地址 c1

c2的IP地址 c2

c3的IP地址 c3

 

8、  每台虚拟机都要yum –yinstall openssh-clients

 

9、  设置免密码登录，ssh-keygen–t rsa

ssh-copy-idc1

ssh-copy-idc2

ssh-copy-idc3

10、scp /etc/hostsc2:/etc/

scp /etc/hostsc3:/etc/

 

11、yum -y install wget

 

12、下载java的jdk

rpm -ivh jdk-----

vi/etc/profile.d/java.sh

配置环境变量：exportJAVA_HOME=/usr/java/jdk1.8.0_131

source/etc/profile

env | grep JAVA

13、下载hadoop

wget ====

tar zxvfhadoop====

mv hadoop-2.7.3/opt/

mv hadoop-2.7.3hadoop

vi/etc/profile.d/hadoop.sh

exportHADOOP_PROFIX=/opt/hadoop

 

14、yum -y install tree

         cd/opt/Hadoop/etc/Hadoop/

 

1)      vislaves

         c1    

         c2

         c3

 

2) vi hdfs-site.xml

        

 

3)   mvmapred-site.xml.template mapred-site.xml

 vi mapred-site.xml

 

4)  vi yarn-site.xml

 

5) vi core-site.xml

 

15、 将所有的java、hadoop复制c2、c3下

scp –r /usr/java c2:/usr

          scp –r /usr/java c3:/usr

          scp –r /opt/hadoop c2:/opt

scp –r /opt/hadoop c3:/opt

scp /etc/profile.d/java.sh c2:/etc/profile.d/

scp /etc/profile.d/java.sh c3:/etc/profile.d/

scp /etc/profile.d/hadoop.sh c2:/etc/profile.d/

scp /etc/profile.d/hadoop.sh c3:/etc/profile.d/

 

16、hadoop namenode –format

 

17、利用jps查看各个节点的服务有没有起来