Hadoop1.x的伪分布安装步骤

来源:互联网 发布:大数据工程师医疗 编辑:程序博客网 时间:2024/05/16 13:45
1. 设置静态IP
          1.1 在cendos 桌面右上角的图标上,右键修改 (或使用setup)。
          1.2 设置好了静态IP,执行命令service network restart 重启网卡。
2. 修改主机名
          2.1 修改当前会话的主机名,执行命令 hostname hadoop
          2.2 修改配置文件中的主机名,执行命令 vi /etc/sysconfig/network
                    HOSTNAME=hadoop
          验证:重启虚拟机。
3.把hostname 和 ip 绑定
          执行命令 vi /etc/hosts 添加一行内容:
                    192.168.1.120 hadoop
          验证: ping hadoop
4. 关闭防火墙
           执行命令 service iptables stop
           验证: service iptables status  
5. 关闭防火墙的自动运行
           执行命令 chkconfig iptables off
           验证: chkconfig —list | grep iptables
6. SSH 
          执行命令:ssh-keygen -t rsa
                            cd ~/.ssh
                            cat id_rsa.pub >> authorized_keys
7. 安装jdk 1.6

8. 安装hadoop
          执行解压命令: tar -zxvf hadoop-1.1.2.tar.gz
          配置hadoop 环境变量
                    vi /etc/profile
                         添加: HADOOP_HOME=/usr/local/hadoop
                                      PATH=.:HADOOP_HOME/bin:$PATH
          执行 source /etc/profile 重新加载 /etc/profile

          修改4个配置文件:
                    分别是:
                                   hadoop-env.sh
                                        修改第9行.
                                                  添加java环境变量  JAVA_HOME。 export JAVA_HOME=/usr/local/jdk1.6

                                   core-site.xml
                                        添加
                                   <configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://hadoop:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
        </property>
</configuration>

hdfs-site.xml
     添加:
                 <configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
         <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

                                   mapred-site.xml
                                        添加: 
                                           <configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>hadoop:9001</value>
        </property>
</configuration>
9. 执行命令: hadoop namenode -format
     对hadoop进行格式化
10. 执行命令 start-all.sh 启动hadoop
          10.1 执行命令Jps 可以看到5个hadoop 进程
                              10.1.1 NameNode
                              10.1.2 DataNode
                              10.1.3  SecondaryNameNode
                              10.1.4 JobTracker
                              10.1.5 taskTracker
          10.2 通过浏览器访问:
                    10.2.1 hadoop:50070     访问NameNode
                    10.2.2 hadoop:50030     访问JobTracker
11. 去除Hadoop 的警告。
          在 /etc/profile 
               添加: HADOOP_HOME_WARN_SUPPRESS