安装ambari部署hadoop集群
来源:互联网 发布:stc89c52rc烧录软件 编辑:程序博客网 时间:2024/04/30 13:17
Step 1 获得相关源码
Ambari 依赖一些程序,为此需要先下载这些源码。注意,我们使用的环境是 CentOS 6,因此,你的操作系统若不是 CentOS 6,那么需要下载支持相应系统的软件包。
在联网状态下,可以使用 wget 命令获得 Ambari 所需的程序包。
HDP Repository
wget http://public-repo-1.hortonworks.com/HDP/centos6/HDP-1.3.0.0-centos6-rpm.tar.gz
HDP-Utils Repository
wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.15/repos/centos6/HDP-UTILS-1.1.0.15-centos6-rpm.tar.gz
Ambari Repository
wget http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.2.4.9-centos6.tar.gz
Step 2 配置安装包文件
当这些文件下载后,将这些压缩包的文件解压到 /var/www/html 中,为了方便管理我们建议在该目录下创建一个external,将这些不是CentOS系统自带的安装包都放在这个目录中。
使用tar命令解压缩:
mkdir -p /var/www/html/externaltar -xvf ./HDP-1.3.0.0-centos6-rpm.tar.gz -C /var/www/html/external/tar -xvf ./HDP-UTILS-1.1.0.15-centos6-rpm.tar.gz -C /var/www/html/external/tar -xvf ./ambari-1.2.4.9-centos6.tar.gz -C /var/www/html/external/
之后,在/etc/yum.repos.d创建三个repo文件
ambari.repo
[ambari-1.x]name=Ambari 1.xbaseurl=http://ISCASTest01/external/ambari/centos6/1.x/updates/1.2.4.9gpgcheck=1gpgkey=http://ISCASTest01/external/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1[HDP-UTILS-1.1.0.15]name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.15baseurl=http://ISCASTest01/external/HDP-UTILS-1.1.0.15/repos/centos6gpgcheck=0gpgkey=http://ISCASTest01/external/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1[Updates-ambari-1.2.4.9]name=ambari-1.2.4.9 - Updatesbaseurl=http://ISCASTest01/external/ambari/centos6/1.x/updates/1.2.4.9gpgcheck=1gpgkey=http://ISCASTest01/external/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1
hdp.repo
[HDP-1.3.0.0]name=Hortonworks Data Platform Version - HDP-1.3.0.0baseurl=http://ISCASTest01/external/HDP/centos6/1.x/GA/1.3.0.0gpgcheck=1gpgkey=http://ISCASTest01/external/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1[HDP-UTILS-1.1.0.15]name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.15baseurl=http://ISCASTest01/external/HDP-UTILS-1.1.0.15/repos/centos6gpgcheck=1gpgkey=http://ISCASTest01/external/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1
hdp-util.repo
[HDP-UTILS-1.1.0.15]name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.15baseurl= http://ISCASTest01/external/HDP-UTILS-1.1.0.15/repos/centos6gpgcheck=1enabled=1priority=1
之后,将写好的文件,发送至其他节点上
scp ambari.repo root@ISCASTest02:/etc/yum.repo.d/scp hdp.repo root@ISCASTest02:/etc/yum.repo.d/scp hdp-util.repo root@ISCASTest02:/etc/yum.repo.d/scp ambari.repo root@ISCASTest03:/etc/yum.repo.d/scp hdp.repo root@ISCASTest03:/etc/yum.repo.d/scp hdp-util.repo root@ISCASTest03:/etc/yum.repo.d/
安装 Ambari
将仓库文件发送至各节点后,在各节点需要运行 yum clean all 以清空缓存文件,为了检验文件是否配置正确,可以使用 yum search ambari-agent, yum search Oozie, yum search gangli。如果配置有问题,就会出现找不到文件包的问题。
之后,在主节点运行
yum install ambari-server
在其他节点上运行
yum install ambari-agent
之后,在主节点上,运行命令:
ambari-server start
如果报错:
ERROR: No JDK found, please run the "setup" command to install a JDK automatically or install any JDK manually to /usr/jdk64
出现这样的问题的原因,要么是主机上没有安装JAVA,要么就是主机上的JAVA版本与ambari的要求不一致。如果联网环境中,可以运行命令:
ambari-server setup
如果主机上已经安装了JAVA了,而使用ambari-server setup继续报错,那么也可以把JAVA_HOME的地址配置到ambari中,例如:
ambari-server setup -j /usr/java/jdk1.8.0_05/
不过,默认的JDK版本是1.6,所以最好在集群各个节点上都安装同样版本的JDK。
输出:
Using python /usr/bin/python2.6Initializing ...Setup ambari-serverChecking SELinux...SELinux status is 'enabled'SELinux mode is 'permissive'WARNING: SELinux is set to 'permissive' mode and temporarily disabled. You should disable SELinux permanently.OK to continue [y/n] (y)? yChecking iptables...iptables is disabled nowChecking JDK...WARNING: JAVA_HOME /usr/java/jdk1.8.0_05/ must be valid on ALL hostsCompleting setup...Configuring database...Enter advanced database configuration [y/n] (n)? ySelect database:1 - Postgres(Embedded)2 - Oracle[1]:Database Name [ambari]:Username [ambari]: Password [bigdata]: Default properties detected. Using built-in database.Checking PostgreSQL...Running initdb: This may take upto a minute.About to start PostgreSQLConfiguring database...Configuring PostgreSQL...Restarting PostgreSQLAmbari Server 'setup' finished successfully
之后再次使用命令 ambari-server start 启动设备
启动 Ambari
打开浏览器,输入地址:
http://localhost:8080
就可以看到登录界面了:
user: adminpassword admin
第一次启动会出现一个配置向导,这时就可以按照自己的需要进行配置了。
- 安装ambari部署hadoop集群
- Ambari安装,配置和部署Hadoop集群
- 使用 Ambari 安装 Hadoop 集群
- 使用Ambari安装Hadoop集群
- Ambari部署hadoop完全分布式集群
- Hadoop建设工具Ambari的安装部署及完整使用(四)——Ambari使用之集群建立
- ambari的安装以及集群部署
- Ambari安装之部署单节点集群
- ambari安装以及基于ambari的hadoop集群搭建
- ambari安装以及基于ambari的hadoop集群搭建
- hadoop集群ambari搭建(1)之ambari-server安装
- hadoop集群监控工具ambari安装
- hadoop集群监控工具ambari安装
- hadoop集群监控工具Ambari安装
- hadoop集群监控工具ambari安装
- 清理ambari安装的hadoop集群
- HDP学习--Ambari安装Hadoop集群步骤
- 清理ambari安装的hadoop集群
- XMLP之开发笔记
- 《从军行》 李白
- Ubuntu 安装 Ncurses
- 我的QML学习笔记-QML组件(1.QML常用的几个组件)
- Linux文件权限详解
- 安装ambari部署hadoop集群
- 一个糗事百科的简单爬虫
- 传统加油站与微信间的美丽火花
- 如何只更新listivew的某一项数据而不调用 notifyDataSetChanged
- C语言readdir()函数:读取目录函数
- B. Pashmak and Flowers
- iOS 下载图片前如何预取图片的大小
- Oracle Form开发手电筒查找功能实现
- 《沙丘城下寄杜甫》 李白