Hadoop分布式安装03

进行Hadoop的安装和配置

第一步 建立一个文件

mkdir /hadoop

进入下载的hadoop-2.7.1.tar.gz的文件中进行解压，解压到建立的文件夹中去

tar -zxvf hadoop-2.7.1.tar.gz -C /hadoop/

然后对hadoop进行配置

首先进入hadoop的etc配置文件中

cd /hadoop/hadoop-2.7.1/etc/hadoop

第一个需要配置的 ：hadoop-env.sh

vim hadoop-env.sh配置当中的JAVA_HOME,将${JAVA_HOME}修改成安装的路径export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79 

第二需要配置的是:core-site.xml

vim core-site.xml然后进行配置<configuration><!-- 用来指定HDFS的老大（NameNode）的地址 这里可以用IP也可以写hostname -->    <property>            <name>fs.defaultFS</name>            <value>hdfs://192.168.0.100:9000</value>    </property>    <!-- 用来指定hadoop运行时产生文件的存放目录  -->    <property>            <name>hadoop.tmp.dir</name>            <value>/hadoop/hadoop-2.7.1/tmp</value>    </property> </configuration>

第三个需要配置的文件： hdfs-site.xml

vim hdfs-site.xml   然后进行配置这里是进行副本的数量的设置，如果是伪分布式的话副本是1，一般分布式集群默认是3，表示包括文件本身和副本一共的数量是3份。<configuration>    <property>            <name>dfs.replication</name>            <value>2</value>    </property></configuration>

第四个需要配置的文件：mapred-site.xml

这里没有mapred-site.xml,但是我们有template结尾的，重命名即可。mv mapred-site.xml.template mapred-site.xml 然后进行配置vim mapred-site.xml<!-- 告诉Hadoop以后MR运行在YARN上 --> <configuration>    <property>            <name>mapreduce.framework.name</name>            <value>yarn</value>    </property> </configuration>

第五个配置文件：yarn-site.xml

vim yarn-site.xml 进行配置<configuration><!-- Site specific YARN configuration properties --><!-- 告诉NodeManager获取数据的方式是shuffle方式。 -->    <property>            <name>yarn.nodemanager.aux-services</name>            <value>mapreduce_shuffle</value>    </property>    <!--  指定YARN的老大（ResourceManager）的地址 -->    <property>            <name>yarn.resourcemanager.hostname</name>            <value>hadoop01</value>    </property></configuration>

这样Hadoop的基本配置就完成了。下一步进行测试运行。