Hadoop-2.6.0 集群的安装配置

 

一、安装软件

1. Virtualbox

2. Ubuntu 桌面版

3. Hadoop2.6.0

4. SSH

5. JDK

 

安装好virtualbox，过程不再赘述。按照一般的虚拟机安装方式安装就可以了！

安装好virtualbox之后，在安装ubuntu虚拟机。安装ubuntu虚拟机需要注意的问题：

说明： 我的安装时候设置了一个用户名为 ubuntuvim1，注意后面的设置会用到。

1. 安装的虚拟机的联网方式需要设置成“桥接”方式，如果一开始设置不了，则等到虚拟机系统安装完成之后再安装增强工具，然后关闭虚拟机在设置网络链接模式，设置如下：

 

界面名称使用eth0，控制芯片使用 82543GC，混杂模式使用“全部允许”，接入网线打勾。

配置好之后虚拟机系统应该可以联网了，打开虚拟机里的firefox看看能不能上网，如果能上网说明网络配置成功！

二、复制虚拟机

 

关闭刚刚创建好的虚拟机，打开oracle VM VirtualBox 管理器，在刚刚创建好的虚拟机上右键--》复制，等待复制完成。同理可以复制多个虚拟机！

注意：使用完全复制的方式

  

 等到复制完成之后，在“设置”里修改刚刚复制的虚拟机，

 

 修改下名称，方便自己查看。

 

其他设置都默认即可。

三、配置虚拟机

到这里我已经有3个虚拟机。并且设置桥接方式之后会自动为虚拟机设置虚拟机电脑的ip。可以在虚拟机里使用ifconfig（在终端输入）命令查看电脑ip

启动虚拟机，并登录到ubuntu系统中。分别设置三个虚拟机如下：

1. 修改虚拟机的主机名

在终端输入：sudo gedit /etc/hostname

说明：因为我安装的ubuntu是桌面版，所以可以使用gedit，如果你安装的是server版本的ubuntu是不能用gedit的，只能用vi，上面的命令就要改成：sudo vi /etc/hostname

直接删除原来的字符，然后分别把三个虚拟机的hostname修改为：masterslave1 slave2

  

2. 使用ifconfig查看虚拟机电脑的ip。并记录下来，如下是我三个虚拟机的ip地址。

主机名字

ip

master

192.168.1.107

slave1

192.168.1.105

slave2

192.168.1.106

  

3. 安装上表修改三个虚拟机的hosts文件

在终端输入: sudo gedit /etc/hosts

下图是我的master虚拟机的配置

 

 下图是我的slave1虚拟机的配置

 

 下图是我的slave2虚拟机的配置

 

四、安装SSH，配置无密码链接

这步是比较难的，慢慢来，一步一步安装配置。

1. 在三个虚拟机上都安装ssh，命令：sudo apt-get install ssh。等待安装完成。

2. 配置ssh，

生成密钥，输入命令：ssh-keygen -t dsa -P ‘’ -f  ~/.ssh/id_dsa

P是大写的，p后面接2个单引号；

以上命令是产生公私密钥，产生目录在用户主目录下的.ssh目录中

 

Id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件，命令为：

cd ~/.ssh

cat id_dsa.pub >> anthorized_keys

最后测试是否成功。终端输入2次:  ssh localhost 第一次需要输入系统的密码，第二次应该是不用密码的，如果第二次不用密码说明配置成功了。

 

上述ssh配置我的是在master里完成的。使用上述方法配置slave1和slave2。

3. 让主结点(master)能通过SSH免密码登录两个子结点（slave），命令如下：

首先进入.ssh目录：cd ~/.ssh

[[e-mail]]$ scp authorized_keys slave1:/home/ubuntuvim1/.ssh/masterkey

然后在slave1的.ssh目录下可以看到masterkey，执行：cat masterkey >> authorized_keys

以追加的方式添加到系统slave1里去

[[e-mail]]$ scp authorized_keys slave2:/home/ubuntuvim1/.ssh/masterkey

然后在slave2的.ssh目录下可以看到masterkey，执行：cat masterkey >> authorized_keys

以追加的方式添加到系统slave2里去

 

 测试

 

ubuntuvim1 为登录虚拟机的用户名，同理在slave1和slave2上配置如下：

 

[[e-mail]]$ scp authorized_keys slave2:/home/ubuntuvim1/.ssh/slave1key

然后在slave2的.ssh目录下可以看到masterkey，执行：cat slave1 >> authorized_keys

 

[ubuntuvim1@slave1 .ssh]$ scp authorized_keys master:/home/ubuntuvim1/.ssh/slave1key

然后在master的.ssh目录下可以看到masterkey，执行：cat slave1key >> authorized_keys

  

[ubuntuvim1@slave2 .ssh]$ scp authorized_keys master:/home/ubuntuvim1/.ssh/slave2key

然后在master的.ssh目录下可以看到slave2key，执行：cat slave2key >> authorized_keys

  

[ubuntuvim1@slave2 .ssh]$ scp authorized_keys slave1:/home/ubuntuvim1/.ssh/slave2key

然后在slave1的.ssh目录下可以看到slave2key，执行：cat slave2key >> authorized_keys

 

详细请看：http://www.cnblogs.com/yhason/archive/2013/05/30/3108908.html

最后得到如下图

 

其实就是把各自的系统的id_rsa.pub复制到另一个虚拟机系统的.ssh/authorized_keys里

到此SSH无密码登录链接已经配置完成！

五、安装JDK，配置JDK

1. 下载jdk放到三个虚拟机的home下面，并用root权限解压（sudo tar -zxvf jdkxxx.gz）

2. 把得到的解压包复制到/usr/lib/jvm/下，没有目录则自己创建，如下：

1. 创建目录并复制文件到/usr/lib/jvm

sudo mkdir /usr/lib/jvm

 

解压文件得到jdk

sudo cp -r /home/ubuntuvim/soft/java/jdk1.7.0_65 /usr/lib/jvm/jdk7_65

 

2. 修改配置文件

sudo gedit /etc/profile 

 

在文件末尾添加

#set java environment

export JAVA_HOME=/usr/lib/jvm/jdk7_65  

export JRE_HOME=${JAVA_HOME}/jre  

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  

export PATH=${JAVA_HOME}/bin:$PATH

 

3. 更新配置

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk7_65/bin/java 300  

 

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk7_65/bin/javac 300 

 

执行：

sudo update-alternatives --config java 

选择自己配置的jdk

 

4. 测试

java -version

查看是否是自己配置的jdk

测试是否配置成功，终端输入：java -version 得到如下结果说明成功配置了jdk

 

 

 

六、安装Hadoop，配置Hadoop

注意：先配置master，然后再把在 master里配置好的hadoop复制到另外2个虚拟机的相同目录下即可，不需要在一一配置。

下面配置master里的hadoop。

下载hadoop2.6.0，解压放到/usr目录下，我的是：/usr/hadoop/hadoop-2.6.0

注意：下面的配置文件都是在 hadoop-2.6.0/etc/hadoop/ 下

1. 配置hadoop-env.sh文件  配置conf/hadoop-env.sh文件 

export JAVA_HOME=${JAVA_HOME｝  这里修改为

export JAVA_HOME=/usr/lib/jvm/jdk7_65 

说明：/usr/lib/jvm/jdk7_65 是安装jdk的目录，跟据自己安装的目录相应修改。

 

2. 配置文件：core-site.xml

注意：hadoop.tmp.dir ：Hadoop的默认临时路径，这个最好配置，如果不配置hadoop会默认使用的是系统的tmp目录。当系统重启的时候这目录里的东西会被清空，可能会导致hadoop出现一些莫名其妙的问题！

由于篇幅有限，hadoop的配置放在这里了

未完待续……