Hadoop伪分布式搭建-（3）

安装hadoop2.4.1（或其他更高版本<最好用更高的64位版本，免得重新编译>）

注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件

3.0上传hadoop并解压到指定目录

同jdk一样,上传Hadoop的包到本目录,并在root目录下创建/dh/这个目录,将Hadoop解压到该目录

3.1配置hadoop

• 第一个：hadoop-env.sh文件

vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

• 第二个：core-site.xml文件

<!--设定NameNode地址 --><property>    <name>fs.defaultFS</name>    <value>hdfs://dh01:9000</value>  <!--或者把dh01换成对应IP--></property><!-- 指定hadoop运行时产生文件的存储目录 --><property>    <name>hadoop.tmp.dir</name>    <value>/dh/hadoop-2.4.1/tmp</value></property>

• 第三个：hdfs-site.xml文件

<!-- 指定HDFS副本的数量 --><property>    <name>dfs.replication</name>    <value>1</value><!--因为为伪分布式,所以只有一个副本--></property>

• 第四个：mapred-site.xml文件

#重命名mv mapred-site.xml.template mapred-site.xml#打开重命名后的文件vim mapred-site.xml

<!-- 指定mapreduce运行在YARN上 --><property>    <name>mapreduce.framework.name</name>    <value>yarn</value></property>

• 第五个：yarn-site.xml文件

<!-- 指定YARN的老大（ResourceManager）的地址 --><property>    <name>yarn.resourcemanager.hostname</name>    <value>dh01</value></property><!-- mapreduce获取数据的方式 --><property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value></property>

3.2将hadoop添加到环境变量

vim /etc/proflie

export JAVA_HOME=/usr/java/jdk1.7.0_79export HADOOP_HOME=/dh/hadoop-2.4.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

刷新配置文件source /etc/profile

3.3格式化namenode（是对namenode进行初始化）

hdfs namenode -format (hadoop namenode -format)

3.4启动hadoop

先启动HDFSsbin/start-dfs.sh再启动YARNsbin/start-yarn.sh

3.5验证是否启动成功

使用jps命令验证jsp

27408 NameNode28218 Jps27643 SecondaryNameNode28066 NodeManager27803 ResourceManager27512 DataNode

http://192.168.8.88:50070 （HDFS管理界面）

在这个文件中添加linux主机名和IP的映射关系C:\Windows\System32\drivers\etc\hosts下添加:192.168.1.66    dh01

打开：http://192.168.8.88:8088验证 （mapreduce管理界面）