Hadoop伪分布式集群的搭建

来源:互联网 发布:php中文手册下载 编辑:程序博客网 时间:2024/06/09 13:52

1,jdk安装,这里省略
2,安装Hadoop软件(直接加压就能使用,这里也不做解释)
3,主要说下需要配置那些文件

  1. 修改etc/hadoop/core-site.xml:
    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    </property>
    </configuration>

    2,配置etc/hadoop/hdfs-site.xml:
<configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property></configuration>
3,终端输入下面这个命令来格式化
$ bin/hdfs namenode -format

完成以上步骤已经可以启动start-dfs.sh了,启动后可以使用jps命令来查看是否启动
4,修改etc/hadoop/mapred-site.xml:

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>
5,修改etc/hadoop/yarn-site.xml:
<configuration>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property></configuration>

已经配置完成,使用$ sbin/start-yarn.sh来启动
完成后用jps查看进程如下
这里写图片描述

看是否进程都启动了,如果有部分进程没有启动可以从以下方面考虑
1,查看防火墙是否关闭
2,查看配置是否有问题
3,找大神求教吧,我无能为力了

最后的忠告,如果英文水平不是太差的话建议看官方文档,你会有不一样的收获,祝好

0 0