HADOOP搭建

来源：互联网发布：mac 魔兽争霸混乱之治编辑：程序博客网时间：2024/06/05 09:53

伪分布式的环境准备

    1.配置网络环境[NAT]        #ifconfig   查看IP地址        #vi /etc/sysconfig/network-scripts/ifcfg-eth0   修改IP信息    2.配置主机名        #vi /etc/sysconfig/network    3.主机名和IP之间的映射        #vi /etc/hosts        192.168.17.100 java14.com java14        注意：需要在本地windows系统的hosts文件中配置域名访问映射        在C:\Windows\System32\drivers\etc\hosts文件中配置即可        192.168.17.100 java14.com java14    4.安装jdk            1、解压缩jdk             tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/               2、设置环境变量                #vi /etc/profile                ####JAVA_HOME                JAVA_HOME=/opt/modules/jdk1.7.0_67                export PATH=$PATH:$JAVA_HOME/bin             source /etc/profile ##立即生效    5.关闭防火墙        service iptables stop

ＨＤＦＳ伪分布式安装

    1、解压缩文件     tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/    2、hdfs文件系统的配置        推荐：采用Notepad配置linux系统中的文件        2.1 修改core-site.xml文件中的内容        ##hdfs文件系统的访问入口地址        <configuration>            <property>                <name>fs.defaultFS</name>                <value>hdfs://java14.ibeifeng.com:8020</value>            </property>        </configuration>        2.2 在hdfs-site.xml文件中设置hdfs文件系统的文件的备份个数        <configuration>            <property>                <name>dfs.replication</name>                <value>1</value>            </property>        </configuration>            2.3 设置Hadoop运行环境的jdk            在hadoop-env.sh文件中修改成如下内容：            export JAVA_HOME=/opt/modules/jdk1.7.0_673、运行    3.1 格式化        [jerry@java14 hadoop-2.5.0]$ ./bin/hdfs namenode -format    3.2 启动对应进程角色        namenode:        [jerry@java14 hadoop-2.5.0]$ ./sbin/hadoop-daemon.sh start namenode        datanode        [jerry@java14 hadoop-2.5.0]$ ./sbin/hadoop-daemon.sh start datanode        secondarynamenode        [jerry@java14 hadoop-2.5.0]$ ./sbin/hadoop-daemon.sh start secondarynamenode    4、访问hdfs文件系统        http://java14.ibeifeng.com:50070/    5、使用hdfs文件系统    将/opt/softwares/hadoop-2.5.0.tar.gz 中的文件上传到HDFS文件系统的/hadoop-2.5.0.tar.gz中    [jerry@java14 hadoop-2.5.0]$ ./bin/hdfs  dfs -put /opt/softwares/hadoop-2.5.0.tar.gz  /hadoop-2.5.0.tar.gz

搭建Yarn平台

    1、etc/hadoop/mapred-site.xml:        ##mapreduce程序运行在yarn之上        <configuration>            <property>                <name>mapreduce.framework.name</name>                <value>yarn</value>            </property>        </configuration>    2、etc/hadoop/yarn-site.xml:        ##mapreduce中间执行的shuffle过程        <configuration>            <property>                <name>yarn.nodemanager.aux-services</name>                <value>mapreduce_shuffle</value>            </property>        </configuration>    3、设置jdk的环境        **mapred-env.sh中设置        export JAVA_HOME=/opt/modules/jdk1.7.0_67        **yarn-env.sh中设置        export JAVA_HOME=/opt/modules/jdk1.7.0_67    4、启动运行        ResouceManager        [jerry@java14 hadoop-2.5.0]$ ./sbin/yarn-daemon.sh start resourcemanager        NodeManager        [jerry@java14 hadoop-2.5.0]$ ./sbin/yarn-daemon.sh start nodemanager

注：

1.配置日志聚合    在yarn-site.xml文件中添加如下内容：        <property>            <name>yarn.log-aggregation-enable</name>            <value>true</value>        </property>2.设置HDFS文件系统中文件的存储目录在core-site.xml文件中添加如下属性：    <property>        <name>hadoop.tmp.dir</name>        <value>/opt/modules/hadoop-2.5.0/data</value>    </property>

阅读全文

0 0