hadoop-2.2.0伪分布式与(全分布集群安装于配置续,很详细的哦~)

         hadoop-2.2.0伪分布式与(全分布集群安装于配置续)

hadoop-2.2.0全分布集群安装于配置点击打开链接

一、伪分布模式

1、前提说明

      我这里配置hadoop集群均是在虚拟机上配置的，使用的安装环境说明如下：

      (1) 宿主机win7x64

      (2) Vmware-workstation10.0.4

      (3) 虚拟机Ubuntu12.0.4(较稳定版本)：使用的是32位，没有使用64的原因是为了方便配置hbase，hbase目前 

           不直接提供64位版本的，需要自己编译源码，为了方便选择32位的。
      (4) JDK1.8.0(Apache版本)

      (5) Hadoop-2.2.0

2、虚拟环境配置

      (1) VMwareWorkstation安装,下载链接：http://bfile.xp510.com:801/bigfile/VMware-workstation_xp510.com.zip

      (2) Ubuntu12.0.4安装，镜像文件官网下载地址：

           http://mirrors.hustunique.com/ubuntu-releases//precise/ubuntu-12.04.4-desktop-i386.iso

      (3) 虚拟机安装好以后是英文版本的，汉化步骤如下：

           首先进入虚拟机系统设置

           更新语言包(或者直接使用下面的命令安装)，将语言选择成简体中文

           编辑locale如下配置文件，修改好后重启虚拟机即可

         

      (4) 虚拟机安装好了，可以进行接下里的工作了

3、升级软件、安装ssh

      执行以下命令将部分软件升级，以及将ssh安装好

      sudo apt-get update;

      sudo apt-get upgrade;

       sudo apt-get install openssh-server;

4、JDK安装

        (1) 创建用户以及用户组，命令如下：

            创建用户：sudo addgroup hadoop

            创建用户，并添加到hadoop用户组中： sudo adduser --ingroup hadoop hduser

      (2)  建立ssh信任关系，在启动hadoop时要频繁输入密码，建立这个关系后可省去输入密码麻烦

         cd /home/hduser

         ssh-keygen -t rsa -P ""

         cat .ssh/id_rsa.pub >>.ssh/authorized_keys

         成功执行三条命令后，通过ssh localhost验证，如下图不需要输入密码就表示成功了

        

     (3) 将下载后的jdk解压到某个路径下，我这里是解压到/opt        

          解压命令如下：

          sudo tar zxf /home/lzliu/software/jdk-8-linux-i586.gz /opt

    (4) 配置java环境变量

           编辑profile文件：sudo gedit /etc/profile

           在文件后面加入jdk路径

              

        一般系统里面都预先安装了openjdk，我们可以通过以下方法将默认jdk更改过来

        

        

        

        

        如果输入命令java -version显示的是你安装的java版本就对了。

5、hadoop-2.2.0配置(伪分布模式)

       (1) 到Apache官网下载hadoop-2.2.0版本，网址：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-                        2.2.0/hadoop-2.2.0.tar.gz

      (2) 将hadoop解压到/home/hduser目录下，命令如下

             tar -zxf /home/lzliu/software/hadoop-2.2.0.tar.gz /home/hduser/

      (3) 配置hadoop-env.sh(JAVA路径安装)

            编辑文件：sudo /home/hduser/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

            export JAVA_HOME=/opt/jdk1.8.0

      (4) 接下来编辑如下三个文件：

            sudo gedit /home/hduser/hadoop-2.2.0/etc/hadoop/core-site.xml

            

           sudo gedit /home/hduser/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

           

           sudo gedit /home/hduser/hadoop-2.2.0/etc/hadoop/mapred-queues.xml(如果没有这个文件，可通过mapred-                queues.xml.template这个模板文件复制一个)

                  

6、hadoop-2.2.0伪分布模式测试

     (1) 启动hadoop

          cd ~/sbin

          ./start-all.sh

          输入jps查看进程，如果有以下几个进程证明启动成功：

           

      (2) 运行hadoop自带的词频统计的例子

        （执行以下步骤的前提是先启动hadoop，namenode和datanode进程必须启动）

          首先在hdfs虚拟文件上创建文件夹input 命令：hdfsdfs -mkdir /input

         上传文件到hdfs上命令：hdfs dfs -put /home/hduser/hadoop-2.2.0/etc/hadoop/ /input

          执行例子,命令

          hadoop jar/home/hduser/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-                                 2.2.0.jarwordcount /input/hadoop /output

          结果：

                

       自此，hadoop-2.2.0伪分布模式就配置成功了，接下来的一片博客里我将介绍，hadoop-2.2.0全分布集群配置，将的也很详细哦~

      （我是刘立洲，我为自己带盐，IT屌丝~）