Fedora安装Hadoop

这里聊的是单点安装！

–开始：
条件
1).fedora23
2).hadoop-2.5.2
3).已经安装jdk和配置好Java的环境变量了

安装步骤
1).下载和解压hadoop
（1）下载资源自行在网上找，在root用户下操作，先将hadoop的下载包放在/opt目录下
（2）解压，在终端输入：

tar xvf apache-hadoop-2.5.1.tar.gz

2).配置环境变量
在/etc/profile里添加hadoop的环境变量：

vi /etc/profile

添加：

#set for hadoopexport HADOOP_HOME=/opt/hadoop-2.5.2export PATH=$HADOOP_HOME/bin:$PATHexport CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

最后让配置文件生效：

source /etc/profile

3).修改hadoop根目录下etc/hadoop目录下两个配置文件的JAVA_HOME环境变量
进入hadoop根目录，在etc目录的hadoop目录下，如图：

（1）vi hadoop-env.sh
把export JAVA_HOME={JAVA_HOME}改为：

export JAVA_HOME=/opt/jdk1.7.0_67

修改完保存(:wq!)退出
JAVA_HOME根据实际的环境变量去设定，我的机器的JAVA_HOME是/opt/jdk1.7.0_67

（2）vi yarn-env.sh
添加：

export JAVA_HOME=/opt/jdk1.7.0_67

修改完保存(:wq!)退出

4).修改根目录下etc/hadoop的4个配置文件
（1）vi core-site.xml
在<configuration>和</configuration>之间添加：

    <property>        <name>fs.default.name</name>        <value>hdfs://localhost:9000</value>    </property>    <property>        <name>hadoop.tmp.dir</name>        <value>/home/hadoop/data/tmp </value>    </property>

修改完保存(:wq!)退出

（2）vi hdfs-site.xml
在<configuration>和</configuration>之间添加：

 <property>          <name>dfs.namenode.name.dir</name>          <value>file:/home/hadoop/dfs/name</value>      </property>      <property>          <name>dfs.namenode.data.dir</name>          <value>file:/home/hadoop/dfs/data</value>      </property>      <property>          <name>dfs.replication</name>          <value>1</value>      </property>  

修改完保存(:wq!)退出

（3）vi yarn-site.xml
在<configuration>和</configuration>之间添加：

  <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>

修改完保存(:wq!)退出

（4）vi mapred-site.xml.template
在<configuration>和</configuration>之间添加：

 <property>        <name>mapreduce.jobtracker.address</name>        <value>localhost:9001</value>    </property>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>

修改完保存(:wq!)退出

5).把ssh设置成免登录

ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa >> ~/.ssh/authorized_keys   chmod 600 ~/.ssh/authorized_keys       sudo service sshd restart

6).在第一次启动之前要格式化namenode

hadoop namenode -format 

7).正式启动hadoop，有两种方式
先进入hadoop根目录的sbin目录，这里有很多启动文件，如图：

（1）用yarn架构启动：
<1>./start-dfs.sh
<2>./start-yarn.sh
（2）直接启动

./start-all.sh

8).在浏览器输入：http://localhost:50070/
会看到下图就说明成功了：

9).如果在7)的启动的过程出现下面的错误：

/opt/hadoop-2.5.2/sbin/yarn-daemon.sh: 第 60 行:[: fedora23.localdomain.out: 需要整数表达式starting resourcemanager, logging to /opt/hadoop-2.5.2/logs/yarn-wayne-resourcemanager-wayne错误: 找不到或无法加载主类 fedora23.localdomain.log

可能是/etc/hostname文件里面有多个主机名（一般是两个），比如下图是我的：

把第二行去掉就可以了。

10).祝大家马到成功！

–结束。