Hadoop伪分布式环境搭建(一)

来源:互联网 发布:淘宝人工客服在哪里 编辑:程序博客网 时间:2024/06/01 07:32

Hadoop伪分布式环境搭建(一)

安装VMWare。本测试所用版本为VMware® Workstation 12 Pro。

下载地址http://www.vmware.com/go/tryworkstation-win-cn

在VMware上搭建虚拟机。本测试所用版本为CentOS7.2。

下载地址https://www.centos.org/download/

添加测试用户,并将其设置为管理员

  1. 添加用户添加用户添加用户添加用户添加用户

    useradd hadoop
  2. 修改密码

    passwd hadoop
  3. 获取root权限

    vi /etc/sudoers

    找到文件中root ALL=(ALL) ALL 所在行,按下o在该行下面输入输入

    hadoop  ALL=(ALL)   ALL

修改主机名

首先查看/etc/hosts的权限信息

ls -la /etc/hosts

若没有写权限可为当前用户添加写权限

sudo chmod 664 /etc/hosts

修改主机名

vi /etc/hosts

本测试使用了三台虚拟机,在末尾添加三行设置信息

172.16.58.128   Master172.16.58.129   Slave1172.16.58.130   Slave2

使用ping命令进行测试

ping Slave1

ping 能连通说明配置成功了

关闭防火墙(minimal跳过)

service iptables stop​chkconfig iptables off  ## 防火墙开机不自动启动​service ip6tables stop​chkconfig ip6tables off  ##防火墙开机不自动启动

如果是Firewall防火墙(centOS7默认)

systemctl stop firewalld.service #停止firewall​systemctl disable firewalld.service #禁止firewall开机启动

关闭Selinux(minimal跳过)

vi /etc/sysconfig/selinux

找到文件中的SELINUX一行,修改并保存

SELINUX=disabled

在命令行输入

setenforce 0   #关闭selinux防火墙getenforce   # 查看selinux的状态

显示Disabled说明设置成功

网络设置

本测试采用的动态分配IP

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

设置

ONBOOT=yesBOOTPROTO=dhcp

保存后重启

service network restart

查看ip

ip addr

SSH免密码登录

首先生成密钥

ssh-keygen -t rsa

在~/.ssh/下会生成两个文件,使用scp命令将公钥发送到远程服务器,这样连接远程服务器时将不再需要输入密码

 scp id_rsa.pub hadoop@Slave1:/home/hadoop/.ssh/authorized_keys_from_Master

在远程服务器上

cat authorized_keys_from_Master >>authorized_keys

测试

ssh Slave1

如果直接登录成功说明设置正确,需要为每一台Slave设置免登陆,使Master也就是NameNode可以免密码登录到任意一台dataNode。

安装JDK

参照http://blog.csdn.net/stsahana/article/details/52275785

0 0
原创粉丝点击