Hadoop集群安装部署---从单节点的伪分布式扩展为多节点分布式

来源：互联网发布：ubuntu破解root密码编辑：程序博客网时间：2024/05/22 03:32

在 Hadoop集群安装部署---单节点伪分布式基础之上进行扩展

一：slave环境配置

1、设置静态ip（manual）
master：
IP地址：192.168.77.70
子网掩码：255.255.255.0
网关：192.168.77.2

slave：
IP地址：192.168.77.80
子网掩码：255.255.255.0
网关：192.168.77.2

2、修改主机名：
vi /etc/sysconfig/network

master：

slave：

3、ip地址与主机名对应：
vi /etc/hosts

master：

slave：

**在windows下也要修改（如果在win下用到master和slave01）：

C:\Windows\System32\drivers\etc

4、关闭图形化界面
vi /etc/inittab
将id:5:initdefault:-----> id:3:initdefault:

5、关闭防火墙
service iptables stop
chkconfig iptables off

6、安装jdk，参照 Hadoop集群安装部署---单节点伪分布式

二：从master上传hadoop到slave

1、修改配置文件（master）
cd /usr/local/apps/hadoop-2.4.1/etc/hadoop

vi core-site.xml

<configuration><property><name>fs.defaultFS</name><!-- namenode的URI --><value>hdfs://master:9000/</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/apps/hadoop-2.4.1/tmp/</value></property></configuration>

vi hdfs-site.xml

<configuration><property>   <name>dfs.replication</name><!-- 副本点个数 -->   <value>2</value></property><property>   <name>dfs.data.dir</name><!--namenode的工作目录  -->   <value>/usr/local/apps/hadoop-2.4.1/tmp/dfs/data</value></property><property>   <name>dfs.name.dir</name><!--namenode的工作目录  -->   <value>/usr/local/apps/hadoop-2.4.1/tmp/dfs/name</value></property></configuration>

vi slaves

（文件 slaves，配置datanode的主机名）

master可选可不选

2、设置无密登录(master上设置)