Hadoop1.2.1 伪分布环境搭建

来源:互联网 发布:炒外汇软件哪个好 编辑:程序博客网 时间:2024/05/18 02:54

步骤如下: vi  修改文件退出   ( esc退出键 :wq保存退出

1步 :设置静态Ip 参见  如何设置Ip .

                              验证:ifconfig

2步:修改主机名一次性修改:hostname  haoop

                                 永久性修改:vi /etc/systemconfig/network  改名字为 hadoop  

                               测试:重新登陆  su root  ,root@hadoop 为成功

3步:hostname和ip绑定 : vi /etc/hosts     增加一行:192.168.166.166  hadoop 

                                 测试:ping hadoop  成功

4步:关闭防火墙:service iptables stop 测试:service iptables status :为is not成功;

          再关闭防火墙的自动启动功能:chkconfig  iptables off

                               测试: chkconfig --list  | grep iptables  全部off为成功

5步:SSH的免密码登陆

        ssh-keygen -t   rsa   产生密匙,位置在~/,ssh目录下。

       执行命令: cp ~/.ssh/id_rsa.put    ~/.ssh/authorized_keys

       验证:ssh   localhost  登陆 ssh,exit退出ssh,再次退出则是客户端退出。

6步:安装jdk

      使用工具:winscp把jdk文件从window复制到linux的/usr/local目录下

      执行命令:chmod u+x jdk_6u24_linux-i586.bin  赋予jdk执行权限

     执行命令:./jdk_6u24_linux-i586.bin  解压缩

     重命名:mv  jdk_6u24_linux-i586.bin   jdk 

 

     然后 : vi  /etc/profile 

    添加二行:export JAVA_HOME=/usr/local/jdk
                       export PATH=.:$JAVA_HOME/bin:$PATH

      让设置立即生效: source  /etc/profile

        测试:java -version

7步:终极安装hadoop

       1.解压缩Hadoop:tar -zxvf hadoop-1.1.2.tar.gz 进行解压缩

       2. 执行命令:mv hadoop-1.1.2 hadoop 重命名

        3. vi /etc/profile 设置环境变量,

           增加一行:

         4.  export  HADOOP_HOME=/usr/local/hadoop

           修改一行:

          5.   export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

         6  让设置立即生效: source  /etc/profile

         7.修改hadoop的配置文件,位于$HADOOP_HOME/conf目录下,

           修改4个hadoop-env.sh , core-site.xml ,hdfs-site.xml , maperd-site.xml

        修改内容有点多,简便的方法是:

         winscp进入/usr/local目录下,为4个文件位置,选择文件,点击edit为文本修改模式。

             【 hadoop-env.sh】

                大约9行位置修改JAVA_HOME=/usr/local/jdk

             【core-site.sh :文件修改】

              <configuration>

                 <property>

                       <name>fs.default.name</name>

                      <value>hdfs://hadoop:9090</value> 

                     <description>you  hostname</description>

                  </property>

                 <property>

                      <name>hadoop.tmp.dir</name>

                       <value>/usr/local/hadoop/tmp</value>

                 </property>

             </configuration>

            【hdfs-site.xml的修改如下】

            <configuration>

                 <property>

                       <name>dfs.replication</name>

                      <value>1</value> 

                  </property>

                 <property>

                      <name>dfs.permissions</name>

                       <value>false</value>

                 </property>

             </configuration>

              【maperd-site.xml的修改内容】

               <configuration>

                 <property>

                       <name>mapred.job.tracker</name>

                      <value>hadoop:9091</value>  

                     <description>you hostname</description>

                  </property>

              </configuration>

       8.修改完后:启动格式化命令:hadoop namenode -format

            9:启动命令:start-all.sh 

                测试方式1: 命令:jps  【如果+jps进程有6个说明启动成功】

               29201 DataNode
              29097 NameNode
              29393 JobTracker
              29500 TaskTracker
              29317 SecondaryNameNode

             测试方式2:虚拟机浏览器访问:hadoop:50070或hadoop:50030

              测试方式3.:在宿主机中测试:host目录添加:192.168.167.166  hadoop  便可以访问hadoop:50070或hadoop:50030


 启动hadoop失败原因总结:

         1:没有格式化。

          2:配置文件只copy,没修改

          3:hostname与ip没绑定

           4:ssh免密码登陆没有配置成功

     .多次格式化hadoop是错误的,可以通过删除/usr/local/hadoop/tmp文件夹,重新格式化



                          




0 0
原创粉丝点击