64位hadoop完全分布式安装教程

来源：互联网发布：java 整型转字符串编辑：程序博客网时间：2024/05/16 06:11

64位Redhat 6下hadoop-2.2.0完全分布式安装过程详解

作者:Ring

1 前提条件

l 电脑需要连网

l 主要参考资料

n http://blog.csdn.net/licongcong_0224/article/details/12972889

n http://blog.csdn.net/bamuta/article/details/13506893

n http://blog.csdn.net/bamuta/article/details/13506843

l 下载资料：

n redhat as 6：server-6.0-x86_64-dvd.iso

n vmware 10g

n 下载jdk: jdk-7u51-linux-x64.tar.gz

n 下载hadoop-2.2.0-src

n 下载maven

l 所有软件都安装在/usr/local目录下，owner为hduser

l 三台集群计划如下

注：本例是装在虚机上，宿主的IP为192.168.0.10,网关192.168.0.1；虚机与宿主机同一个网段

IP地址

用户/密码

机器名

用途

192.168.0.105

hduser/passwd

hadoopmaster

namenode/second namenode/resourcemanager

192.168.0.104

hduser/passwd

Slave1

datanode/nodemanager

192.168.0.103

hduser/passwd

Slave2

datanode/nodemanager

2 准备操作系统(以master为例，其他机器相同)

2.1 虚机安装

l 安装过程不在描述，装好后，利用桥接的方式连接。保证hosts与vmware之间同一个网段即可。

n 安装过程中发现cpu不支持虚拟技术，需要修改bios设置，Intel的CPU可通过securable文件查看系统支与否，网上有各种教材。

l 在虚拟上安装redhat as 6

2.2 创建hduser帐户，该用户用于和宣hadoop

n 设置sudoers

$su root

$vim /etc/sudoers

打开sudoers，在“## Allow root to run any commands anywhere”后增加

hduser ALL=(ALL) ALL

设置好后，记得用exit退出root帐号

2.3 配置IP地址

$suroot

$vim /etc/sysconfig/network-scripts/ifcfg-eth0

#增加如下记录

IPADDR=192.168.0.105

NETMASK=255.255.255.0

GATEWAY=192.168.0.1

ONBOOT=yes

USERCTL=no

BOOTPROTO=static

保存配置，用如下命令重启网卡生效：

$service network restart

$exist

2.4 修改机器名称

$su root

$hostname hadoopmaster (或slave1,slave2)

$vim /etc/sysconfig/network（比如hadoopmaster主机为HOSTNAME= hadoopmaster）

2.5 指定hosts文件

$su root

$vim /etc/hosts

192.168.0.105 hadoopmaster

192.168.0.104 slave1

192.168.0.103slave2

$exit

(以下开始用hduser用户操作)

2.6 安装jdk

$sudo tar zxvf ~/Downloads/jdk-7u51-linux-x64.tar.gz /usr/local

设置环境变量:

$sudo vim /etc/profile (文件尾)

exportJAVA_HOME=/usr/local/jdk1.7.0_51

exportJRE_HOME=/usr/local/jdk1.7.0_51/jre

exportMAVEN_HOME=/usr/local/apache-maven-3.1.1

exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin: $PATH

exportCLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

$sudo update-alternatives --install /usr/bin/javajava /usr/local/jdk1.7.0_51/bin/java

$sudo update-alternatives --install /usr/bin/javacjavac /usr/local/jdk1.7.0_51/bin/javac

$sudoupdate-alternatives –config java

2.7 配置yum资源

$su root

$vim /etc/yum.conf

#网上有很多文章是在“/etc/yum.repos.d/packagekit-media.repo”添加，但好像不管用。

#Yum.conf原文内容别删除

[base]

name=CentOS-6-Base

baseurl=http://ftp.sjtu.edu.cn/centos/6.5/os/$basearch/

gpgcheck=0