Hadoop分布式安装02

来源：互联网发布：php 去除所有html标签编辑：程序博客网时间：2024/05/17 06:51

安装JDK1.7

首先下载JDK
然后进入下载的文件夹中进行解压

 gzip -dc jdk-7u79-linux-x64.tar.gz  | tar xf -

然后将解压好的文件 jdk1.7.0_79

mv jdk1.7.0_79 /usr/lib/jvm

我放到了/usr/lib/jvm下面

然后将java添加到环境变量

vim /etc/profile

在文件的末尾添加如下内容:

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79export PATH=$PATH:$JAVA_HOME/bin

设置好配置然后刷新

source /etc/profile

然后输入java -version 就可以看到最新的版本。JDK的安装就完成了。

下面将进行Hadoop2.7.1的安装

mkdir /hadoop

然后进入/home下的Downloads文件中，将hadoop-2.7.1.tar.gz进行解压到创建的hadoop目录下

tar -zxvf hadoop-2.7.1.tar.gz -C /hadoop/

然后进行执行。完成了解压。

再下面进行Hadoop的配置。

第一个配置 hadoop-env.sh

这个文件在hadoop解压文件中的etc/hadoop中进行配置

vim hadoop-env.sh

进入后找到export JAVA_HOME=JAVAHOME这一行，然后将后面的{JAVA_HOME}改成/usr/lib/jvm/jdk1.7.0_79
然后：wq 保存退出。

第二个要修改core-site.xml

vim core-site.xml

修改内部的配置

<configuration><！-- **用来指定HDFS的老大（NameNode）的地址** -->    <property>            <name>fs.defaultFS</name>            <!--**这里可以用hostname也可以用IP地址来进行指定** -->            <value>hdfs://192.168.0.100:9000</value>    </property>    <!-- 用来指定hadoop运行时产生文件的存放目录 -->    <property>            <name>hadoop.tmp.dir</name>            <value>/hadoop/hadoop-2.7.1/tmp</value>    </property>

第三个要配置的是hdfs-site.xml

vim hdfs-site.xml

修改当中的内容

<configuration><!-- 指定HDFS保存数据副本的数量 -->    <property>            <name>dfs.replication</name>    <!-- 一般伪分布式是1，分布式集群是3，其中包括本身和副本一共3份 -->            <value>2</value>    </property></configuration>

：wq进行保存。

第四个要配置的是mapred-site.xml
ls之后发现没有这个文件，但是有mapred-site.xml.template

mv mapred-site.xml.template  mapred-site.xml

执行后就存在我们需要的mapred-site.xml文件了。
然后进行配置

vim mapred-site.xml<configuration><!-- 告诉hadoop以后MR运行在YARN上 -->    <property>            <name>mapreduce.framework.name</name>            <value>yarn</value>    </property> </configuration>

第五个配置文件 yarn-site.xml

vim yarn-site.xml

配置其中的文件

<configuration> <!-- Site specific YARN configuration properties NodeManager获取数据的方式是shuffle -->    <property>            <name>yarn.nodemanager.aux-services</name>            <value>mapreduce_shuffle</value>    </property>    <!-- 指定YARN的老大（ResourceManager）的地址 -->    <property>            <name>yarn.resourcemanager.hostname</name>            <!-- 这里也可以输入IP也可以是hostname -->            <value>hadoop01</value>    </property></configuration>：wq进行保存。

0 0