hadoop安装［未完待续］

硬件

三台虚拟机
硬件：
CPU：2*3核
内存：16G
磁盘：500G（SATA）
操作系统：
ubuntu 14.04

软件安装

配置修改

安装包：hadoop-2.7.1.tar.gz
解压后进入目录

• etc/hadoop/core-site.xml修改如下：

<configuration>    <property>        <name>hadoop.tmp.dir</name>        <value>file:/hadoop/tmp</value>        <description>Abase for other temporary directories.</description>    </property>    <property>        <name>fs.defaultFS</name>        <value>hdfs://localhost:9000</value>    </property></configuration>

• etc/hadoop/mapred-site.xml.template修改如下：

<configuration>    <property>        <name>mapred.job.tracker</name>        <value>localhost:9001</value>    </property></configuration>

• etc/hadoop/hdfs-site.xml修改如下：

<configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property>    <property>        <name>dfs.namenode.name.dir</name>        <value>file:/hadoop/tmp/dfs/name</value>    </property>    <property>        <name>dfs.datanode.data.dir</name>        <value>file:/hadoop/tmp/dfs/data</value>    </property></configuration>

• etc/hadoop/hadoop-env.sh修改如下：

...export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64...

HDFS系统

bin/hdfs namenode -format

NameNode和DataNode进程

sbin/start-dfs.sh

总结下完整启动

bin/hdfs namenode -formatsbin/start-dfs.sh

bin/hdfs namenode -format在后续执行的时候，让输入Y/N的时候，选择N，否则会出问题，解决办法参考后续重启后datanode启动失败

查看结果

1. jps
   
10517 DataNode
10364 NameNode
10710 SecondaryNameNode
10914 Jps

2. http://127.0.0.1:50070

问题

jdk

root@h1:/hadoop/install/hadoop-2.7.1# sbin/start-dfs.sh Starting namenodes on [localhost]root@localhost's password: localhost: Error: JAVA_HOME is not set and could not be found.

etc/hadoop/hadoop-env.sh中有java home的设定位置，直接配置下就好

密码错误

root@h1:/hadoop/install/hadoop-2.7.1# sbin/start-dfs.sh Starting namenodes on [localhost]root@localhost's password: localhost: Permission denied, please try again.

重新设定一下密码即可：sudo passwd，然后继续安装

重启后datanode启动失败

断电后依次执行启动命令，format的时候，选择了Y，会重新格式化，导致data和name中的VERSION不一致。
这时候执行sbin/start-dfs.sh，datanode就一直启动失败。
解决办法：
/hadoop/tmp/dfs能看到 data和name两个文件夹，将name/current下的VERSION中的clusterID复制到data/current下的VERSION中，覆盖掉原来的clusterID，让两个保持一致，然后重启，OK。