hadoop搭建记录

云计算的课程，需要小组搭建hadoop集群，零零碎碎跟另一个同学干了两天。用了五台电脑，三天虚拟机，两台在双系统，都是ubuntu的。

1. 修改主机名：为了方便，把五台机子的主机名分别改为slaves, slavef, slaveg,slaveq，还有一台控制机master。修改的时候是在/etc/hostname中将主机名改了。
2. 设置所有机子相同用户“hadoop”。方法：adduserhadoop。可以用id看一下当前用户是在哪个组，加进去。或者在etc/sudoers中，把hadoop用户的权限设的跟root一样，hadoop ALL=(ALL:ALL) ALL 。
3. 这里面出现一个问题，我的ubuntu在安装的时候并没有设置root密码，所以在第一次的使用时可以设置。使用sudopasswd，输入当前用户的密码之后，会让你输入su的密码。su root即可。
4. JDK安装。下载的是JDK1.8.0版本的，几台机子统一解压在了/usr/lib/jvm底下。设置环境变量，把该JDK路径加到/etc/profile里。source /etc/profile可以让环境变量立即生效。
   export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05
   exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export PATH=$JAVA_HOME/bin:$PATH
   
5. 安装openssh，并设置无密码登录。ubuntu安装很迅速，直接sudo apt-get installssh就可以了。在当前hadoop用户下建了一个隐藏文件.ssh。

         ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

       即用ssh-keygen生成"-t"类型的密钥；dsa表示密钥认证，-P提供密语；-f指定生成的密钥文件。这条命令输完之后，会在.ssh中产生id_dsa,id_dsa.pub。

         cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

         用这个命令把公钥加到用于认证的公钥文件authorized_keys中。master上的authorized_keys回头要放到slave上，这样master就可以无密码访问slave了。

        可以用 ssh -version查看ssh是否安装成功。再用ssh localhost进行首次登录。

    6.hadoop安装。下载的是hadoop2.4.0版本。在根目录下建了一个/data目录，在data目录下又建了一个hadoop目录。把hadoop包解压到了/data目录下。同样的把hadoop加入到了/etc/profile中，以及更改/data/hadoop/hadoop-2.4.0/etc/hadoop/中的hadoop-env.sh。主要是JDK的路径：exportJAVA_HOME=/usr/lib/jvm/jdk1.8.0_05。

    7.修改hadoop的配置文件。接下来主要参考http://blog.csdn.net/aquester/article/details/24621005照着做的