Hadoop学习笔记1：伪分布式环境搭建

来源：互联网发布：淘宝店铺售假24分重开编辑：程序博客网时间：2024/05/21 01:28

在搭建Hadoop环境之前，请先阅读如下博文，把搭建Hadoop环境之前的准备工作做好，博文如下：

1、CentOS 6.7下安装JDK , 地址： http://blog.csdn.net/yulei_qq/article/details/51925673

2、CenOS虚拟机和Windows通信，地址：http://blog.csdn.net/yulei_qq/article/details/51930736

Hadoop 安装文件下载

本人使用的安装版本文件是hadoop-2.4.1.tar.gz ，下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/

Hadoop 伪分布式环境搭建

[root@itcast01 ~]# mkdir /itcast

2、解压缩刚下载的hadoop文件到 itcast目录下.

[root@itcast01 ~]# tar -zxvf hadoop-2.4.1.tar.gz  -C /itcast

3、进入该itcast目录下查看解压后的hadoop文件.

4、解压塑之后，就需要配置Hadoop的环境变量，跟配置JDK环境变量差不多。

root@itcast01 hadoop-2.4.1]# vim /etc/profile

配置好之后，保存退出，执行命令source /etc/profile ，刷新配置.

5、Hadoop 配置文件修改.

要搭建Hadoop伪分布式环境，需要修改5个配置文件，配置文件都在 /itcast/hadoop-2.4.1/etc/hadoop 目录下面

(1) hadoop-env.sh 文件修改

[root@itcast01 hadoop]# vim hadoop-env.sh

(2) core-site.xml 文件修改

[root@itcast01 hadoop]# vim core-site.xml

<configuration>   <!--指定HDFS namenode的通信地址-->    <property>         <name>fs.defaultFS</name>         <value>hdfs://itcast01:9000</value>    </property>    <!--指定Hadoop运行时产生文件的存放目录-->     <property>         <name>hadoop.tmp.dir</name>         <value>/itcast/hadoop-2.4.1/tmp</value>    </property></configuration>

(3)hdfs-site.xml 文件修改

<configuration>       <!--配置HDFS副本的数量-->       <property>           <name>dfs.replication</name>           <value>1</value>       </property></configuration>

(4) mapred-site.xml 文件修改.

原先文件是 mapred-site.xml.template ，所以需要重命名.

[root@itcast01 hadoop]# mv mapred-site.xml.template   mapred-site.xml

(5) yarn-site.xml 文件修改

<configuration>           <!--nodemanager获取数据的方式是shuffle-->           <property>                <name>yarn.nodemanager.aux-services</name>                <value>mapreduce_shuffle</value>           </property>           <!--指定YARN的老大(ResourceManager)的地址-->           <property>                <name>yarn.resourcemanager.hostname</name>                <value>itcast01</value>           </property></configuration>

6、初始化HDFS (格式化文件系统)

1、执行该命令 hdfs namenode format

格式化之后，会在hadoop目录下生成一个tmp 目录.

7、启动Hadoop

进入hadoop的sbin目录下，可以看见看到有很多启动文件命令.

[root@itcast01 sbin]# pwd/itcast/hadoop-2.4.1/sbin[root@itcast01 sbin]# lltotal 116-rwxr-xr-x. 1 67974 users 2752 Jun 21  2014 distribute-exclude.sh-rwxr-xr-x. 1 67974 users 5814 Jun 21  2014 hadoop-daemon.sh-rwxr-xr-x. 1 67974 users 1360 Jun 21  2014 hadoop-daemons.sh-rwxr-xr-x. 1 67974 users 1597 Jun 21  2014 hdfs-config.cmd-rwxr-xr-x. 1 67974 users 1427 Jun 21  2014 hdfs-config.sh-rwxr-xr-x. 1 67974 users 2291 Jun 21  2014 httpfs.sh-rwxr-xr-x. 1 67974 users 4063 Jun 21  2014 mr-jobhistory-daemon.sh-rwxr-xr-x. 1 67974 users 1648 Jun 21  2014 refresh-namenodes.sh-rwxr-xr-x. 1 67974 users 2145 Jun 21  2014 slaves.sh-rwxr-xr-x. 1 67974 users 1727 Jun 21  2014 start-all.cmd-rwxr-xr-x. 1 67974 users 1471 Jun 21  2014 start-all.sh-rwxr-xr-x. 1 67974 users 1128 Jun 21  2014 start-balancer.sh-rwxr-xr-x. 1 67974 users 1360 Jun 21  2014 start-dfs.cmd-rwxr-xr-x. 1 67974 users 3705 Jun 21  2014 start-dfs.sh-rwxr-xr-x. 1 67974 users 1357 Jun 21  2014 start-secure-dns.sh-rwxr-xr-x. 1 67974 users 1524 Jun 21  2014 start-yarn.cmd-rwxr-xr-x. 1 67974 users 1347 Jun 21  2014 start-yarn.sh-rwxr-xr-x. 1 67974 users 1718 Jun 21  2014 stop-all.cmd-rwxr-xr-x. 1 67974 users 1462 Jun 21  2014 stop-all.sh-rwxr-xr-x. 1 67974 users 1179 Jun 21  2014 stop-balancer.sh-rwxr-xr-x. 1 67974 users 1414 Jun 21  2014 stop-dfs.cmd-rwxr-xr-x. 1 67974 users 3206 Jun 21  2014 stop-dfs.sh-rwxr-xr-x. 1 67974 users 1340 Jun 21  2014 stop-secure-dns.sh-rwxr-xr-x. 1 67974 users 1595 Jun 21  2014 stop-yarn.cmd-rwxr-xr-x. 1 67974 users 1340 Jun 21  2014 stop-yarn.sh-rwxr-xr-x. 1 67974 users 4278 Jun 21  2014 yarn-daemon.sh-rwxr-xr-x. 1 67974 users 1353 Jun 21  2014 yarn-daemons.sh

启动Hadoop.