Hadoop伪分布式环境搭建(一)
来源:互联网 发布:淘宝人工客服在哪里 编辑:程序博客网 时间:2024/06/01 07:32
Hadoop伪分布式环境搭建(一)
安装VMWare。本测试所用版本为VMware® Workstation 12 Pro。
下载地址http://www.vmware.com/go/tryworkstation-win-cn
在VMware上搭建虚拟机。本测试所用版本为CentOS7.2。
下载地址https://www.centos.org/download/
添加测试用户,并将其设置为管理员
添加用户添加用户添加用户添加用户添加用户
useradd hadoop
修改密码
passwd hadoop
获取root权限
vi /etc/sudoers
找到文件中
root ALL=(ALL) ALL
所在行,按下o
在该行下面输入输入hadoop ALL=(ALL) ALL
修改主机名
首先查看/etc/hosts
的权限信息
ls -la /etc/hosts
若没有写权限可为当前用户添加写权限
sudo chmod 664 /etc/hosts
修改主机名
vi /etc/hosts
本测试使用了三台虚拟机,在末尾添加三行设置信息
172.16.58.128 Master172.16.58.129 Slave1172.16.58.130 Slave2
使用ping
命令进行测试
ping Slave1
ping 能连通说明配置成功了
关闭防火墙(minimal跳过)
service iptables stopchkconfig iptables off ## 防火墙开机不自动启动service ip6tables stopchkconfig ip6tables off ##防火墙开机不自动启动
如果是Firewall防火墙(centOS7默认)
systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动
关闭Selinux(minimal跳过)
vi /etc/sysconfig/selinux
找到文件中的SELINUX一行,修改并保存
SELINUX=disabled
在命令行输入
setenforce 0 #关闭selinux防火墙getenforce # 查看selinux的状态
显示Disabled说明设置成功
网络设置
本测试采用的动态分配IP
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
设置
ONBOOT=yesBOOTPROTO=dhcp
保存后重启
service network restart
查看ip
ip addr
SSH免密码登录
首先生成密钥
ssh-keygen -t rsa
在~/.ssh/下会生成两个文件,使用scp命令将公钥发送到远程服务器,这样连接远程服务器时将不再需要输入密码
scp id_rsa.pub hadoop@Slave1:/home/hadoop/.ssh/authorized_keys_from_Master
在远程服务器上
cat authorized_keys_from_Master >>authorized_keys
测试
ssh Slave1
如果直接登录成功说明设置正确,需要为每一台Slave设置免登陆,使Master也就是NameNode可以免密码登录到任意一台dataNode。
安装JDK
参照http://blog.csdn.net/stsahana/article/details/52275785
0 0
- Hadoop伪分布式环境搭建(一)
- 伪分布式Hadoop及开发环境搭建(一)
- Hadoop系列~环境搭建,单机/伪分布式配置(一)
- hadoop环境搭建(二)伪分布式
- Hadoop伪分布式环境搭建(二)
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- 伪分布式hadoop环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- 安装VMware虚拟机出现the msi ''c:\user_x64.msi failed报错信息解决方案
- QT error LNK2019 的问题
- Activity、Window、View三者的差别,fragment的特点?
- TCP粘包
- 程序设计1
- Hadoop伪分布式环境搭建(一)
- WampServer服务器离线问题的解决方法
- 实时渲染(一)——图形渲染管线
- js事件之event.preventDefault()与event.stopPropagation()用法区别
- 织梦DedeCms列表{dede:list}标签实现按文章权重weig
- myeclipse提示内存不足解决 (转)
- 在linux系统下,创建oracle数据库表空间、用户权限操作功能
- 一次网络请求的流程
- Android中MVP模式与MVC模式比较(含示例)