hadoop自学轨迹-hadoop2.2.0单NameNode安装

Hadoop伪分布模式安装

Hadoop的安装分为本地模式、伪分布模式、集群模式。

本地模式也叫独立模式，是运行在本地，无需运行任何守护进程（daemon），所有程序都在单个jvm上执行。

由于本机模式下测试和调试MapReduce程序较为方便，因此该模式适宜用在开发阶段。只负责存储，没有计算功能。

伪分布式模式是在一台机器上模拟分布式部署，守护进程运行在本地机器上，模拟一个小规模的集群。方便学习和调试。

集群模式是在多个机器上配置hadoop，守护进程运行在集群上，是真正的分布式。

解压缩

1.      执行命令：tar –zxvf hadoop-2.2.0.tar.gz解压缩

2.      执行命令：mv hadoop-2.2.0.tar.gz hadoop重命名为方便使用（可选做）

3.      执行命令：vi /etc/profile 设置环境变量

          增加一行内容：export  HADOOP_HOME=/usr/local

          修改一行内容：export  PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

 

4.      执行命令：source /etc/profile立即生效

修改配置文件

5.      Hadoop默认部署是本机模式，修改配置文件默认为伪分布模式，需要修改四个配置文件，

         位于$HADOOP_HOME/bin/etc/hadoop目录下。

         分别是hadoop-env.ssh、core-site.xml、hdfs-site.xml、mapred-site-template.xml

1)   hadoop-env.ssh修改：

2)   core-site.xml修改：

        添加：

        <configuration>

            <property>

                 <name>fs.default.name</name>

                 <value>hdfs://jeremy:9000</value>

                 <description>用于设置hadoop的默认文件系统，文件系统由URI指定的，使用hdfs URI来配置HDFS为hadoop的默认文件系统。HDFS的守护进程将通过该属性项来确定HDFS namenode的主机及端口</description>

             </property>

             <property>

                   <name>hadoop.tmp.dir</name>

                   <value>/usr/local/hadoop/tmp</value>

             </property> 

        </configuration>

3)   hdfs-site.xml修改

        添加：

       <configuration>

            <property>

                       <name>dfs.replication</name>

                       <value>1</value>

             </property>

             <property>

                     <name>dfs.permissions</name>

                     <value>false</value>

             </property>

        </configuration>

4)   mapred-site.xml修改

注意：修改之前需要对mapred-site.xml改名，默认是以template结尾的：mvmapred-site.xml.template mapred-site.xml

而后添加：

         <configuration>

             <property>

                   <name>mapred.job.tracker</name>

                    <value>jeremy:9001</value>

                     <description>here is your ownhostname</description>

              </property>

          </configuration>

格式化文件系统

6.     hdfs 是文件系统, 所以在第一次使用之前需要进行格式化,进入目录$HADOOP_HOME/bin/hadoop

        执行命令：hadoop namenode –format   对hadoop格式化

 

启动

7.     进入目录$HADOOP_HOME/sbin下

        执行命令：start-all.sh启动,

验证

8.     验证jps会有5个java进程