CentOS 6.5中Hadoop 2.7.2安装配置

来源：互联网发布：中国知名网站知乎编辑：程序博客网时间：2024/06/04 20:12

1. 下载资源

最新版JDK 1.8.0_92
最新版Hadoop安装包

2. 配置环境

2.1 JDK

2.1.1 安装

我们下载的是rpm包，所以这里直接安装：

rpm -ivh jdk1.8.0_92.rpm

2.1.2 环境变量配置

修改/etc/profile文件，也可以修改其他影响环境变量的文件

export JAVA_HOME=/usr/java/jdk1.8.0_92
export JRE_HOME=$JAVA_HOME/jre
export CLASS_PATH=.:$CLASS_PATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

2.2 下载安装Hadoop

将下载的hadoop安装包放到/opt目录下，解压出来：

tar xvzf hadoop-2.7.2.tar.gz ; rm -f hadoop-2.7.2.tar.gz

配置环境变量，修改/etc/profile

export HADOOP_HOME=/opt/hadoop-2.7.2
# 修改以下行
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin

3. 配置Hadoop

3.1 修改以下四个配置文件：

修改etc/hadoop/hadoop-env.sh

# 明确指定JDK路径
export JAVA_HOME=/usr/java/jdk1.8.0_92

修改etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/hadoop/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://centos:9000</value>
    </property>
</configuration>

注：
其中centos是我本机的hostname，需要在/etc/hosts中明确指定127.0.0.1或::1映射到这个hostname

修改etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.data.dir</name>
        <value>/hadoop/data</value>
    </property>
</configuration>

修改etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>centos:9001</value>
    </property>
</configuration>

3.2 初始化

执行命令对Hadoop进行格式化

hadoop namenode -format

3.3 启动Hadoop

sbin/start-all.sh

0 0