伪分布式hadoop-2.5.2环境搭建

来源:互联网 发布:变态的皇帝知乎 编辑:程序博客网 时间:2024/06/08 09:30
ip:192.168.2.137 hadoop-1
user:root
依赖软件:jdk
1.解压hadoop-2.5.2.tar.gz
    #cd /usr/local
    #tar -zxvf hadoop-2.5.2.tar.gz
2.配置系统环境变量
    #vi /etc/profile
        JAVA_HOME=/usr/local/jdk1.7.0_65
        HADOOP_HOME=/usr/local/hadoop-2.5.2
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    #source /etc/profile
3.配置伪分布式的hadoop
    #cd hadoop-2.5.2
    #cd etc/hadoop/
    #vi hadoop-env.sh
        export JAVA_HOME=/usr/local/jdk1.7.0_65
    #vi core-site.xml
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop-1:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop-2.5.2/tmp</value>
        </property>
    #vi hdfs-site.xml
        <property>
            <name>dfs:replication</name>
            <value>1</value>
        </property>
    #cp mapred-site.xml.template mapred-site.xml
    #vi mapred-site.xml
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    #vi yarn-site.xml
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop-1</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>${yarn.resourcemanager.hostname}:8088</value>
        </property>
4.启动hadoop
    #hdfs namenode -format
    #cd ../../sbin
    #./start-dfs.sh
    #./start-yarn.sh
    #jps
        ###启动成功信息###
        2657 DataNode
        3299 NodeManager
        3022 ResourceManager
        3521 Jps
        2891 SecondaryNameNode
        2551 NameNode
5.添加防火墙过滤规则
    #vi /etc/sysconfig/iptables
        -A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT
        -A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT
        -A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT
    #service iptables restart
6.访问
    #wget 192.168.2.137:50070
    #wget 192.168.2.137:8088


原创粉丝点击