virtualbox centos6.5 ambari1.7 单机安装hdp2.2相关笔记

一.相关资源:


CentOS-6.5-x86_64-bin-DVD1.iso
Ambari-1.7.0
HDP-2.2.0.0
HDP-UTILS-1.1.0.20
jdk-7u71-linux-x64.tar.gz


二.环境准备


centos6.5 mini安装
hostname 符合 Fully Qualified Domain Name 规则,如: 
ambari-server.hdp
不符合在ambari配置时会有警告,但也能安装
配置hosts,加入:
192.168.137.116 ambari-server.hdp


jdk安装
解压缩jdk-7u71-linux-x64.tar.gz,扔/opt/java里
配置/etc/profile,加入:
export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH
让配置生效,执行
source /etc/profile


设置进程打开的文件句柄数量的限制(ulimit), 建议大于10000
修改/etc/security/limits.conf
* soft   nofile  32768
* hard   nofile  65536
soft为警告, hard为限制 


ssh免鉴
执行: ssh-keygen
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys


启动ntpd服务
yum install ntpd
chkconfig —list ntpd
chkconfig ntpd on


关闭iptables
chkconfig iptables off
/etc/init.d/iptables stop


关闭selinux
在/etc/selinux/config中设置
SELINUX=disabled


关闭packagekit
在/etc/yum/pluginconf.d/refresh-packagekit.conf中设置
enabled=0


设置umask
在/etc/profile中设置
umask 022




三.建立本地yum源


安装相关服务
yum -y install yum-utils createrepo yum-plugin-priorities httpd
在/etc/yum/pluginconf.d/priorities.conf中设置
[main]
enabled=1
gpgcheck=0
设置httpd
chkconfig httpd on
service httpd start






下载相关资源
http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.7.0-centos6.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/HDP-2.2.0.0-centos6-rpm.tar.gz
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz
解包并移动到/var/www/html/目录下


配置yum.repo.d/ambari.repo如下:


[CentOS65-Media]
name=CentOS6-Media
baseurl=http://192.168.137.116/centos65
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6


[Ambari-1.7.0]
name=Ambari-1.7.0
baseurl=http://192.168.137.116/ambari/centos6/1.x/updates/1.7.0
gpgcheck=0
enabled=1


[HDP-2.2.0.0]
name=HDP-2.2.0.0
baseurl=http://192.168.137.116/hdp/HDP/centos6/2.x/GA/2.2.0.0
gpgcheck=0
enabled=1


[HDP-UTILS-1.1.0.20]
name=HDP-UTILS-1.1.0.20
baseurl=http://192.168.137.116/hdp/HDP-UTILS-1.1.0.20/repos/centos6
gpgcheck=0
enabled=1




访问http服务
http://192.168.137.116/ambari/centos6/1.x/updates/1.7.0/ambari.repo
如果没关selinux,会遇到403错误


安装ambari-server, 依赖postgresql
yum install ambari-server
配置ambari-server
ambari-server setup
配置JDK时,选3,自定义JDK路径,输入/opt/java
配置数据库时用默认的postgresql,自动建库,库名ambari,用户/密码 ambari/bigdata
也可以用mysql,好像要准备mysqljdbc的包


启动ambari-server
ambari-server start


访问192.168.137.116:8080
admin/admin


先写流程,等有时候再配图
1.给cluster起名
2.选择stack, 这里选hdp2.2,下面有一个Advanced Repository Options,
如果用的上面的repo文件,所有设置都取消,否则可以在redhat6输入本地yum源的HDP和HDP-UTILS的URL
3.输入hosts,这里就一个输入ambari-server.hdp, 上传id_rsa文件
4.显示agent安装,遇到访问https://xxx:8440/ca错误的 升级openssl, agent安装成功后,下面有一个警告列表,把有问题的解决,THP的看下面的遇到问题3
5.选择要安装的服务
6.选择masters
7.选择slaves
8.自定义配置
9.review
10.开始安装
11.完成


可以查看Dashboard了




遇到问题:


1.selinux开启 导致本地yum源访问403


2.centosos6.5 openssh 版本bug 导致 agent安装失败
解决 yum upgrade openssl


3.关闭 THP(Transparent HugePages ) 
Add the following lines in /etc/rc.local and reboot the server:
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag




参考
http://www.toxingwang.com/hadoop/hadoop-hadoop/2429.html