centos6 安装配置 hadoop
来源:互联网 发布:2018年国考报名数据 编辑:程序博客网 时间:2024/05/29 19:06
准备: scp yum install openssh-clients
rpm yum install rpm
步骤:
1.配置hosts文件
vim /etc/hosts
例如增加:
192.168.10.147 hadoop-147.localhost.local hadoop-147
192.168.10.148 hadoop-148.localhost.local hadoop-148
192.168.10.149 hadoop-149.localhost.local hadoop-149
2.修改主机名
2.1 vi /etc/sysconfig/network
如:
NETWORKING=yes
#HOSTNAME=localhost.localdomain
HOSTNAME=hadoop-147.localhost.local
2.2重启网络 /etc/init.d/network restart
2.3查看主机名 hostname -f
3设置无密码登录
3.1安装和启动SSH协议
rpm -qa | grep openssh
openssh-5.3p1-94.el6.x86_64
openssh-clients-5.3p1-94.el6.x86_64
openssh-server-5.3p1-94.el6.x86_64
rpm -qa|grep rsync
rsync-3.0.6-9.el6_4.1.x86_64
如果没有安装ssh和rsync
yum install ssh 安装SSH协议
yum install rsync(rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件)
service sshd restart 重新启动服务
3.2设置无密码登录
A.在三台机器上分别生成公钥私钥,将其他主机的公钥文件内容都拷贝到主机上的authorized_keys文件中
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
B.其他主机的公钥文件内容都拷贝到主机上的authorized_keys文件中
ssh-copy-id -i 主机名
C.修改权限
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
D.登录主机,将授权文件拷贝到其他主机上。
scp /.ssh/authorized_keys hadoop02:~/.ssh/
4.在集群中和浏览器主机上启用 NTP
A.集群中的所有节点和运行访问Ambari Web界面时的浏览器的计算机的时钟必须能够同步。为检查NTP服务是否在开机时自动启动,在每个主机上运行以下命令:
chkconfig --list ntpd
B.设置NTP服务开机时自动启动,在每个主机上运行以下命令
chkconfig ntpd on
C.为了启动NTP服务,在每个主机上运行以下命令:
service ntpd start
5.配置 iptables
为了Ambari在安装过程中与用它来部署和管理的主机沟通,某些特定端口必须是开放的和可用的。要做到这一点,最简单的办法就是暂时禁用iptables,具体如下
chkconfig iptables off
/etc/init.d/iptables stop
6.关闭 SELinux, PackageKit 以及检查umask 值
A.查看selinux的状态
getenforce
你必须禁用SELinux为Ambari设置的功能。在群集中的每个主机中输入如下命令:setenforce 0
注:为了永久禁用SELinux,在/etc/selinux/config中设置SELINUX=disabled,保存后最好重启计算机以保证这修改能够生效。
B.在已经安装PackageKit的主机上运行RHEL/CentOS,使用文本编辑器打开/etc/yum/pluginconf.d/refresh-packagekit.conf,作如下改动enabled = 0。
注:PackageKit在Debian,SUSE或者Ubuntu系统上默认不启用。除非你有专门启用PackageKit,否则在Debian,SLES或Ubuntu安装主机可以跳过这一步。
C. UMASK(用户模板或用户文件创建掩码)设置当在Linux机器上创建一个新的文件或文件夹授予的默认权限或基本权限。大多数Linux发行版设置022为默认的umask值。 022为默认的umask值授予新文件或新文件夹读,写和执行的755权限。 027为默认的umask值授予新文件或新文件夹读,写和执行的750权限。 Ambari支持umask值为022或027。 例如,为了设置umask值为022,在所有主机上以root身份运行以下命令,vi /etc/profile,然后追加下面一行:umask 022.
7.配置资源库(省)
8.安装mysql数据库作为ambari元数据库(可选择不安装)
9.安装ambari
10。设置ambari
11 .启动ambari
注:注册节点的时候,openssl版本必须一致
1.安装java jdk版本1.7及以上(3台机器)
rpm yum install rpm
步骤:
1.配置hosts文件
vim /etc/hosts
例如增加:
192.168.10.147 hadoop-147.localhost.local hadoop-147
192.168.10.148 hadoop-148.localhost.local hadoop-148
192.168.10.149 hadoop-149.localhost.local hadoop-149
2.修改主机名
2.1 vi /etc/sysconfig/network
如:
NETWORKING=yes
#HOSTNAME=localhost.localdomain
HOSTNAME=hadoop-147.localhost.local
2.2重启网络 /etc/init.d/network restart
2.3查看主机名 hostname -f
3设置无密码登录
3.1安装和启动SSH协议
rpm -qa | grep openssh
openssh-5.3p1-94.el6.x86_64
openssh-clients-5.3p1-94.el6.x86_64
openssh-server-5.3p1-94.el6.x86_64
rpm -qa|grep rsync
rsync-3.0.6-9.el6_4.1.x86_64
如果没有安装ssh和rsync
yum install ssh 安装SSH协议
yum install rsync(rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件)
service sshd restart 重新启动服务
3.2设置无密码登录
A.在三台机器上分别生成公钥私钥,将其他主机的公钥文件内容都拷贝到主机上的authorized_keys文件中
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
B.其他主机的公钥文件内容都拷贝到主机上的authorized_keys文件中
ssh-copy-id -i 主机名
C.修改权限
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
D.登录主机,将授权文件拷贝到其他主机上。
scp /.ssh/authorized_keys hadoop02:~/.ssh/
4.在集群中和浏览器主机上启用 NTP
A.集群中的所有节点和运行访问Ambari Web界面时的浏览器的计算机的时钟必须能够同步。为检查NTP服务是否在开机时自动启动,在每个主机上运行以下命令:
chkconfig --list ntpd
B.设置NTP服务开机时自动启动,在每个主机上运行以下命令
chkconfig ntpd on
C.为了启动NTP服务,在每个主机上运行以下命令:
service ntpd start
5.配置 iptables
为了Ambari在安装过程中与用它来部署和管理的主机沟通,某些特定端口必须是开放的和可用的。要做到这一点,最简单的办法就是暂时禁用iptables,具体如下
chkconfig iptables off
/etc/init.d/iptables stop
6.关闭 SELinux, PackageKit 以及检查umask 值
A.查看selinux的状态
getenforce
你必须禁用SELinux为Ambari设置的功能。在群集中的每个主机中输入如下命令:setenforce 0
注:为了永久禁用SELinux,在/etc/selinux/config中设置SELINUX=disabled,保存后最好重启计算机以保证这修改能够生效。
B.在已经安装PackageKit的主机上运行RHEL/CentOS,使用文本编辑器打开/etc/yum/pluginconf.d/refresh-packagekit.conf,作如下改动enabled = 0。
注:PackageKit在Debian,SUSE或者Ubuntu系统上默认不启用。除非你有专门启用PackageKit,否则在Debian,SLES或Ubuntu安装主机可以跳过这一步。
C. UMASK(用户模板或用户文件创建掩码)设置当在Linux机器上创建一个新的文件或文件夹授予的默认权限或基本权限。大多数Linux发行版设置022为默认的umask值。 022为默认的umask值授予新文件或新文件夹读,写和执行的755权限。 027为默认的umask值授予新文件或新文件夹读,写和执行的750权限。 Ambari支持umask值为022或027。 例如,为了设置umask值为022,在所有主机上以root身份运行以下命令,vi /etc/profile,然后追加下面一行:umask 022.
7.配置资源库(省)
8.安装mysql数据库作为ambari元数据库(可选择不安装)
9.安装ambari
10。设置ambari
11 .启动ambari
注:注册节点的时候,openssl版本必须一致
1.安装java jdk版本1.7及以上(3台机器)
阅读全文
1 0
- centos6 安装配置 hadoop
- Centos6.5安装Hadoop配置集群环境
- CentOS6.4配置Hadoop-2.6.0集群配置安装
- CentOS6.4配置Hadoop-2.6.0集群配置安装指南
- VMWARE Centos6 安装 hadoop
- hadoop在centos6.7下安装下环境配置问题
- centos6.5配置hadoop+hive
- HADOOP安装文档(CENTOS6.2)
- Centos6 安装配置
- CentOS6 vsftpd安装配置
- CentOS6安装配置mysql
- 安装配置Centos6.5
- centos6.5安装配置
- centos6 安装配置 redis
- centos6 安装配置zookeeper
- centos6 安装配置dubbo
- CentOS6.4配置Hadoop-2.6.0集群配置安装指南(经过实战演练)【张振华.Jack】
- CentOS6.4配置Hadoop-2.6.0集群配置安装指南(经过实战演练)
- 我国治理安卓应用市场秩序 阻断违法有害移动应用进入市场
- Oracle中的游标,存储过程,循环三两事
- Cyclone V LAB &ALM结构
- php利用ip和cookie实现投票
- RabbitMQ订阅发布的消息,通过WebSocket实现数据实时推送到前端上显
- centos6 安装配置 hadoop
- linux 的POLL机制
- 创建者模式之抽象工厂模式
- oracle数据库存储过程基础知识
- Static关键字
- 17-11-22 Deep Reinforcement Learning-based Image Captioning with Embedding Reward论文随笔
- 第一部分:基础问题 1.7
- 一级购物车代码点我
- virtualbox如何挂载共享文件夹