HADOOP入门-基础环境安装

1. 基础环境准备

---

1.1. 安装介质

名称 SHA-1校验值 下载地址 VirtualBox-4.3.28-100309-Win.exe 27242CDDDE7A8DE1B4A9C712B81143D5959266C5 https://www.virtualbox.org/wiki/Downloads CentOS-6.5-i386-minimal.iso 4F900BBA81D0E3C5CC5354A94984ED2FA03D4061 jdk-6u45-linux-i586-rpm.bin D226A83148457FF9E3A86F8378B24B068F6FB77E hadoop-1.0.1.tar.gz 283D55B522F7B8CD8263C3F85AA5854B883672BE

1.2. 系统安装

全新安装的CentOS6.5X86，一颗虚拟CPU512MB内存10GB硬盘，按照默认分区方案即可。

1.3. 系统配置

1.3.1. 网络配置

修改网卡的配置文件
将ONBOOT=no改为ONBOOT=yes即可。

[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

自动分配IP地址配置文件

DEVICE=eth0HWADDR=00:15:5D:00:02:00TYPE=EthernetONBOOT=yesBOOTPROTO=dhcpIPV6INIT=noNM_CONTROLLED=no

手动分配IP地址配置文件

DEVICE=eth0HWADDR=00:15:5D:00:02:00TYPE=EthernetONBOOT=yesBOOTPROTO=staticIPADDR=192.168.233.234NETMASK=255.255.255.0GATEWAY=192.168.233.1IPV6INIT=noNM_CONTROLLED=no

配置DNS域名解析服务器
如果IP地址为手动分配，则DNS也需要手动配置

[root@localhost ~]# vi /etc/resolv.conf

DNS配置文件内容如下，可根据你的实际情况予以修改

nameserver 218.2.2.2nameserver 218.4.4.4

1.3.2. 关闭防火墙

关闭防火墙

[root@localhost ~]# service iptables stop[root@localhost ~]# service ip6tables stop

关闭开机启动

[root@localhost ~]# chkconfig iptables off[root@localhost ~]# chkconfig ip6tables off

1.3.3. 修改机器名

修改配置文件

[root@localhost ~]# vi /etc/sysconfig/network

原来内容

NETWORKING=yesHOSTNAME=localhost.localdomain

修改后内容

NETWORKING=yesHOSTNAME=hadoop.hadoop

1.3.4. 本地域名解析

修改配置文件
在文件原有内容后面加上本机机器名的解析记录。

[root@localhost ~]# vi /etc/hosts

原来内容

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

追加后的文件内容

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6127.0.0.1   hadoop.hadoop

1.3.5. 更新系统

清除本地yum缓存

[root@localhost ~]# yum clean all

新建本地yum缓存

[root@localhost ~]# yum makecache

更新系统
系统更新过程中，部分需要输入的地方请根据提示输入

[root@localhost ~]# yum update

安装lrzsz工具软件，方便上传下载

[root@localhost ~]# yum install lrzsz

1.4. 配置SSH免密钥登陆

1.4.1. 新建hadoop用户

新建用户hadoop并设置密码为123456

[root@hadoop ~]# useradd hadoop[root@hadoop ~]# passwd hadoopChanging password for user hadoop.New password: [123456]Retype new password:[123456] passwd: all authentication tokens updated successfully.

1.4.2. 安装SSH

默认已经安装SSH不需要安装

1.4.2.1. 创建私钥公钥对

生成公钥私钥密钥对
在hadoop用户的home目录下，生成公钥私钥密钥对

[hadoop@hadoop ~]$ whoami hadoop[hadoop@hadoop ~]$ pwd/home/hadoop[hadoop@hadoop ~]$ ssh-keygen -t rsa -P ''

加入授权key
将公钥id_rsa.pub加入到授权的key中去

[hadoop@hadoop ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

授权key权限修改
修改授权key文件权限

[hadoop@hadoop ~]$ chmod 600 ~/.ssh/authorized_keys

1.4.2.2. 修改SSH配置文件

打开SSH配置文件

[root@hadoop /]# whoami root[root@hadoop /]# vi /etc/ssh/sshd_config

原来配置项，将如下的配置项的内容放开

#RSAAuthentication yes#PubkeyAuthentication yes#AuthorizedKeysFile     .ssh/authorized_keys

修改后的配置文件内容

RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile     .ssh/authorized_keys

重启SSH服务

[root@hadoop /]# service sshd restart

1.5. 安装JDK1.6+

1.5.1. RPM包方式安装JDK

上传安装包
使用root账户，将文件上传至/root目录下，直接运行即可安装。

[root@hadoop ~]# whoami root[root@hadoop ~]# pwd/root[root@hadoop ~]# ll *.bin-rw-r--r--. 1 root root 68637258 May 20 00:05 jdk-6u45-linux-i586-rpm.bin[root@hadoop ~]# chmod 755 jdk-6u45-linux-i586-rpm.bin [root@hadoop ~]# ./jdk-6u45-linux-i586-rpm.bin 

1.5.2. BIN包方式安装JDK

上传安装包
使用root账户，将文件上传至/root目录下，直接运行即可安装。

[root@hadoop ~]# whoamiroot[root@hadoop ~]# pwd/root[root@hadoop ~]# ll *.bin-rw-r--r--. 1 root root 71799552 May 25 11:12 jdk-6u45-linux-i586.bin[root@hadoop ~]# cd /usr/lib[root@hadoop lib]# mkdir jvm[root@hadoop lib]# cd jvm/[root@hadoop jvm]# pwd/usr/lib/jvm[root@hadoop jvm]# mv ~/jdk-6u45-linux-i586.bin .[root@hadoop jvm]# chmod 755 jdk-6u45-linux-i586.bin [root@hadoop jvm]# ./jdk-6u45-linux-i586.bin [root@hadoop jvm]# lltotal 70124drwxr-xr-x. 8 root root     4096 Mar 27  2013 jdk1.6.0_45-rwxr-xr-x. 1 root root 71799552 May 25 11:12 jdk-6u45-linux-i586.bin

配置环境变量
打开配置文件

[root@hadoop jvm]# vi /etc/profile

在文件末尾添加如下内容即可

# JDK的环境变量export JAVA_HOME="/usr/lib/jvm/jdk1.6.0_45"export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"export PATH="$JAVA_HOME/bin:$PATH"

更新配置文件

[root@hadoop jvm]# source /etc/profile

1.5.3. 验证JDK是否安装成功

[root@hadoop ~]# java -versionjava version "1.6.0_45"Java(TM) SE Runtime Environment (build 1.6.0_45-b06)Java HotSpot(TM) Client VM (build 20.45-b01, mixed mode, sharing)[root@hadoop ~]# javac -versionjavac 1.6.0_45