hadoop集群安装

来源：互联网发布：浙江网络名师工作室编辑：程序博客网时间：2024/05/22 14:58

安装java

pv

安装配置nfs

centos安装 :

rpm -q nfs-utils portmap #centos检测nfs-utils和portmap包是否安装，一般情况系统自动已经安装
ubuntu安装 :
sudo apt-get install nfs-kernel-server #安装nfs，portmap会被信赖安装
配置
sudo mkdir /nfs/home -p
sudo vim /etc/exports
/nfs/home 192.168.0.0/24(rw,sync,no_root_squash,no_subtree_check) *(ro,no_subtree_check)
sudo /usr/sbin/exportfs -rv #使配置文件生效
centos启动停止nfs :
sudo /etc/init.d/portmap stop
sudo /etc/init.d/nfs stop
sudo /etc/init.d/portmap start
sudo /etc/init.d/nfs start
ubuntu启动停止nfs :
sudo /etc/init.d/portmap stop
sudo /etc/init.d/nfs-kernel-server stop
sudo /etc/init.d/portmap start
sudo /etc/init.d/nfs-kernel-server start
查看共享目录
/usr/sbin/showmount -e
本机测试挂载
sudo mkdir /mnt/home
sudo mount -t nfs localhost:/nfs/home /mnt/home
sudo umount /mnt/home
客户机测试挂载
sudo /etc/init.d/iptables stop #服务端需要关闭iptables或将nfs相关端口加入iptables允许
#sudo /sbin/chkconfig iptables off #服务端永久关闭iptalbes
sudo mkdir /mnt/home
sudo mount -t nfs 192.168.0.XXX:/nfs/home /mnt/home
sudo umount /mnt/home

安装配置autofs

centos安装 :
rpm -q autofs #检测autofs是否安装，一般系统自动安装
ubuntu安装 :
sudo apt-get install autofs
配置 :
sudo vim /etc/auto.master
/mnt /etc/auto.misc
sudo vim /etc/auto.misc
home -rw,soft,intr 192.168.0.XXX:/nfs/home
ubuntu启动autofs :
service autofs start
centos启动autofs :
/etc/init.d/autofs start
测试
cd /mnt/home

创建hadoop用户

#注意统一uid和gid

/usr/sbin/groupadd -g 1103 hadoop

/usr/sbin/useradd -d /mnt/home/hadoop -u 1103 -g 1103 -m hadoop #在nfs上创建hadoop主目录
/usr/sbin/groupadd -g 1103 hadoop
/usr/sbin/useradd -d /mnt/home/hadoop -u 1103 -g 1103 -M hadoop #将hadoop主目录指向nfs

安装配置puppet

ubuntu安装 :
sudo apt-get install puppet puppetmaster facter
centos安装 :
sudo rpm -Uvh http://mirrors.ustc.edu.cn/fedora/epel/5/i386/epel-release-5-4.noarch.rpm #安装epel
sudo yum install puppet puppet-server facter

sudo vim /etc/hosts #配置客户端hosts
127.0.0.1 puppet-107.chocobots.cn ry-107 #客户机hostname为ry-107，必须按照先fully qualified domain name后simple domain name，否则hostname -f 不能识别，如果不设置puppet启动后会报dns错误
192.168.0.108 puppet-server.chocobots.cn #puppet server
sudo vim /etc/hosts #配置服务端hosts
127.0.0.1 puppet-server.chocobots.cn ry-108 #如果不设置puppet启动后会报dns错误
sudo vim /etc/puppet/puppet.conf #配置服务端puppet
[master] #在master下添加
server=puppet-server.chocobots.cn
certname=puppet-server.chocobots.cn
sudo vim /etc/puppet/puppet.conf #配置客户端puppet
[agent]
server=puppet-server.chocobots.cn
report=true
pluginsync=true
certname=puppet-107.chocobots.cn

启动测试puppet

启动client,server前都要清除已有puppet cert信息，否则可能会出现client-server验证错误
su root #一定要进root用户，否则不能读取puppet.conf配置文件
find /var/lib/puppet -type f -print0 |xargs -0r rm
启动server
su root
puppet master --configprint all #查看配置信息是否正确
puppet master --configprint server #特别要确定server项配置正确
puppet master --no-daemonize --verbose #启动server
启动client
su root
puppet agent --configprint all #查看配置信息是否正确
puppet agent --configprint server #特别要确定server项配置正确
puppet agent --no-daemonize --verbose #启动client
server认证
puppet cert --list
puppet cert --sign puppet-107.chocobots.cn
重启client