搭建完全分布式Hadoop

来源：互联网发布：北京办公软件速成班编辑：程序博客网时间：2024/05/19 16:06

在这里我准备了5个机器

server1 192.168.80.131

server2 192.168.80.132

server3 192.168.80.133

server4 192.168.80.134

server5 192.168.80.135

server1作为namenode 其他作为datanode

1 在5个节点上分别安装 hadoop

2 分别配置5个节点的hosts文件 vi /etc/hosts

将主机名和IP映射更新上

3 分别配置5个节点的配置文件

(1) 配置 core-site.xml

<configuration><property>          <name>fs.defaultFS</name>          <value>hdfs://server1/</value>      </property>  </configuration>

(2) 配置hdfs-site.xml 默认副本数3个

<configuration> <property>          <name>dfs.replication</name>          <value>3</value>      </property>  </configuration>

(3) 配置 mapred-site.xml

<configuration> <property>          <name>mapreduce.framework.name</name>          <value>yarn</value>      </property>  </configuration>

(4) yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --> <property>          <name>yarn.resourcemanager.hostname</name>          <value>server1</value>      </property>      <property>          <name>yarn.nodemanager.aux-services</name>          <value>mapreduce_shuffle</value>      </property>  </configuration>

(5) 配置slaves

server2server3server4server5

以下操作只在server1上

然后格式化namenode

# hadoop namenode -format

启动hadoop

# start-all.sh

访问一下看看

http://server1:50070

0 0