hadoop2.5.x完全分布式集群搭建配置

1:

   1.1前期准备：四台虚拟机，并且到安装好了CentOS系统，JDK,Hadoop安装包

                     以下是我所有的软件：

                       

    1.2：四台机器的任务分配

由于我使用的CentOS是最小化的镜像，所以hostname就是：mini,mini2,mini3,mini4

任务分配好了接下来就开撸。

2.1:

       顺便在这里再说一下最小化安装机器的克隆问题

       机器克隆完成后，以root身份进入

         a: 修改主机名： # vi /etc/sysconfig/network

  

       b:修改ip

         # ifconfig  发现没有IP地址 

# ifconfig -a  

看到有两块网卡，这是因为克隆的时候这台机器上的网卡和源对象一样，因为每块网卡都有它自己的编码，所以原来的那块就不能用了，虚拟机就自动又给它插上了一块新的网卡。

      修改ip

# vi /etc/sysconfig/network-scripts/ifcfg-eth0

将UUID和HWADDR删掉，然后将IPADDR改成自己需要的ip地址。

    # rm -rf  etc/udev/rules.d/70-persistent-net.rules

删除完成之后重启机器即可

# reboot

2.2：CRT连接

为了方便快捷，接下来就是利用CRT进行操作，在连接CRT之前在Windows下配置映射：

修改hosts文件，文件目录为：C:\Windows\System32\drivers\etc\hosts

2.3：

创建一个普通用户hadoop：

[root@mini hadoop]# useradd hadoop

[root@mini hadoop]# passwd hadoop

赋予hadoop用户root的权利：

[root@mini hadoop]# vi /etc/sudoers

修改位置：

## Allow root to run any commands anywhere 
root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       ALL

配置主机映射：

$ sudo vi /etc/hosts

修改内容：

关闭防火墙：

[hadoop@mini ~]$ sudo service iptables stop       iptables：将链设置为政策 ACCEPT：filter [确定]       iptables：清除防火墙规则：[确定]       iptables：正在卸载模块：[确定]

检查防火墙状态：

[hadoop@mini ~]$ sudo service iptables status    iptables：未运行防火墙。

关闭防火墙的开机自启：

[hadoop@mini ~]$ sudo chkconfig iptables off

创建一个文件夹software用来存放上传的压缩包

[hadoop@mini ~]$ sudo mkdir /opt/software 

创建一个文件夹modules用来存放上传的压缩包

[hadoop@mini opt]$ sudo mkdir /opt/modules

[hadoop@mini opt]$ ll    总用量 8    drwxr-xr-x. 2 root root 4096 2月  18 03:09 modules    drwxr-xr-x. 2 root root 4096 2月  18 03:01 software

改变用户这两个文件的所有者

[hadoop@mini opt]$ sudo chown -R hadoop:hadoop modules software     [hadoop@mini opt]$ ll     总用量 8     drwxr-xr-x. 2 hadoop hadoop 4096 2月  18 03:09 modules     drwxr-xr-x. 2 hadoop hadoop 4096 2月  18 03:01 software

  3.1：通过FileZilla上传JDK和hadoop到 /opt/software

[hadoop@mini software]$ ll总用量 443176-rw-rw-r--. 1 hadoop hadoop 311430119 2月  18 03:16 hadoop-2.5.0.tar.gz-rw-rw-r--. 1 hadoop hadoop 142376665 2月  18 03:16 jdk-7u67-linux-x64.tar.gz

3.2.1:解压jdk:

[hadoop@mini software]$ tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

3.2.2:配置JAVA_HOME和PATH

查看安装路径：

[hadoop@mini jdk1.7.0_67]$ pwd     /opt/modules/jdk1.7.0_67

3.2.3配置变量：

[hadoop@mini ~]$ sudo vi /etc/profile

         修改内容为：

export JAVA_HOME=/opt/modules/jdk1.7.0_67
         export PATH=$PATH:$JAVA_HOME/bin:
        将以上内容写入到文件的最后。

3.2.4:检查环境是否配置成功：

[root@mini /]# source /etc/profile[root@mini /]# java -versionjava version "1.7.0_67"Java(TM) SE Runtime Environment (build 1.7.0_67-b01)Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

显示JDK版本号表示配置成功。

3.3:安装hadoop

    3.3.1解压hadoop：   

[hadoop@mini software]$ tar -zxvf hadoop-2.5.0.tar.gz -C ../modules/

 3.3.2：删除帮助文档：

由于帮助文档太大，远程拷贝的时候太慢

[hadoop@mini hadoop-2.5.0]$ cd share/[hadoop@mini share]$ ll总用量 8drwxr-xr-x. 3 hadoop hadoop 4096 2月  18 03:35 docdrwxr-xr-x. 8 hadoop hadoop 4096 8月   7 2014 hadoop[hadoop@mini share]$ pwd/opt/modules/hadoop-2.5.0/share[hadoop@mini share]$ rm -rf doc

3.3.3：配置hadoop的环境变量

配置HADOOP_HOME

[hadoop@mini hadoop-2.5.0]$ pwd/opt/modules/hadoop-2.5.0[hadoop@mini hadoop-2.5.0]$ sudo vi /etc/profile

 修改内容如下：

检查是否配置成功：

[root@mini /]# source /etc/profile[root@mini /]# hadoopUsage: hadoop [--config confdir] COMMAND       where COMMAND is one of:  fs                   run a generic filesystem user client  version              print the version  jar <jar>            run a jar file  checknative [-a|-h]  check native hadoop and compression libraries availability  distcp <srcurl> <desturl> copy file or directories recursively  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive  classpath            prints the class path needed to get the                       Hadoop jar and the required libraries  daemonlog            get/set the log level for each daemon or  CLASSNAME            run the class named CLASSNAMEMost commands print help when invoked w/o parameters.

配置成功

4.1：配置SSH免密登录

   4.1.1：生成秘钥

[hadoop@mini /]$ ssh-keygen

一路回车，生成秘钥

4.1.2：向其他机器（包括自己）发送秘钥

[hadoop@mini /]$ ssh-copy-id  mini

[hadoop@mini /]$ ssh-copy-id  mini3
[hadoop@mini /]$ ssh-copy-id  mini2
[hadoop@mini /]$ ssh-copy-id  mini4
  测试是否成功：

 

ssh mini4

看看是否能登录成功，一次测试其他机器

[hadoop@mini /]$ ssh mini4Last login: Sat Feb 18 04:40:30 2017 from mini[hadoop@mini4 ~]$ 

4.2:远程拷贝JDK和hadoop

今天先到这里。。。。。。

未完待续。。。。。。。