hadoop自学轨迹-linux环境搭建

由于学习资源有限，开发是在Windows上安装虚拟机，虚拟机中安装Linux操作系统，linux中安装Hadoop2.2.0。运行虚拟机的Windows系统称为宿主机，运行在虚拟机中的linux系统成为客户机。虚拟机安装的是VMware-workstation，虚拟机中的linux操作系统用的是CentOS，二者都完成了之后就进入正题 Hadoop的安装了，伪分布式模式安装步骤：

首先，在安装前要确认以什么用户的身份来运行hadoop即以什么身份登录linux系统。如果只是想尝试安装过程或开发hadoop程序，最简单的方式就是使用用户的私有帐号进行安装，但是考虑到安装的过程可能涉及的一些权限的问题，就以root（网上推荐的）身份进行安装。

1.       修改静态ip

虚拟机和操作系统安装完成之后，需要修改虚拟机的ip，更改成本地Windows系统网络连接中同一网段的ip.

设置好后重启网络命令: service network restart

验证是否设置成功执行命令：ifconfig或者ping下ip。失败就重新设置

2.       修改主机名

修改当前会话主机名：hostname –jeremy

修改配置文件主机名：vi /etc/sysconfig/network

修改：HOSTNAME=jeremy
验证：reboot –h now

vi命令解析：是一个编辑命令，vi打开一个文件（只读，不可写），按a或者i进入编辑模式，按Esc键退出编辑，按Shift+“：“组合键进入命令模式进行保存，保存退出命令：wq；

3.       设置DNS解析

由于hadoop集群之间通过主机名互相访问，所以必须设置DNS解析

执行命令vi|gedit /etc/hosts增加一行内容

验证：ping jeremy

 

4.       关闭防火墙

命令：service iptables stop

验证：service iptables status

关闭防火墙的自动运行：chkconfig iptables off

验证：chkconfig –list | grep iptables

5.       设置SSH（secure Shell）免密码登陆

如果我们需要远程管理其他机器的话，一般使用远程桌面或者telnet。Linux服务器几乎是命令行，所以只能使用telnet了。telnet的缺点是通信不加密，非常不安全，只适合于内网访问。为了解决这个问题，推出了加密的通信协议，即ssh。使用非对称加密方式，传输内容使用rsa或者dsa加密，可以有效避免网络窃听。

Hadoop的进程之间通信使用ssh方式，需要每次都输入密码。为了实现自动化操作，就要配置ssh的免密码登录方式。使用ssh登录本机是因为hadoop在本机部署时，需要使用ssh访问。

首先，进入用户主目录下

1）  执行命令 ssh  –keygen  –t  rsa 表示使用rsa加密方式生成密钥 位于~/.ssh文件夹中

 

2）  然后进入密钥文件夹，执行命令 cp ~/.ssh/id_rsa.pub  ~/.ssh/authorized_keys用于生成授权文件。产生公钥

3）  验证：ssh localhost，意味着使用ssh通信协议访问主机localhost，第一次执行时需要确认，第二次不再确认。这就是无秘密登录。当登陆到对方机器后，退出使用命令：exit.注意观察主机名变化，判断是退出哪台机器。如果多次执行ssh，每次都要输入密码，说明配置失败了，删除文件夹’.ssh’重新配置.下图可以看到第二次登陆就不需要验证了。

4）  Ps:如果搞不定，删除/etc/ude/rules.d/70-persistent-net.rules文件，重启系统。配置出错信息查看日志：/var/log/secure

6.       JDK的安装

Hadoop以java语言写就，因而需要在虚拟机中安装java6或更新版本的JDK。

Hadoop能运行在Unix或Windows平台上，linux是hadoop唯一支持的生产平台，在其他的Unix系统（包括Mac OS X）平台上也可以运行hadoop进行开发工作。Windows仅限于作为开发平台，另外需要借助于Cygwin。

1）  将jdk拷贝到linux目录/usr/local下

2）  执行命令chmod u+x jdk-6u24…..赋予执行权限

3）  执行命令：./jdk-6u24…解压缩

4）  重命名生成的目录mv jdk-6u24… Jdk（目的是为了以后引用方便）

5）  执行命令:vi|gedit /etc/profile设置环境变量，增加两行内容：

export JAVA_HOME=/usr/local/jdk

export PATH=.:$PATH :$JAVA_HOME/bin保存退出。

解释：export是关键字，用于设置环境变量。对于环境变量的引用，使用$，多个环境变量之间的连接，使用：。

 

6）  执行命令source /etc/profile使配置立即生效

7）  验证：java –version