ambari安装,hadoop管理工具
来源:互联网 发布:远程网络教育学费 编辑:程序博客网 时间:2024/05/29 16:33
Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari支持管理的服务有:
Apache HBase
Apache HCatalog
Apache Hadoop HDFS
Apache Hive
Apache Hadoop MapReduce
Apache Oozie
Apache Pig
Apache Sqoop
Apache Templeton
Apache Zookeeper
ambari可以使安装hadoop集群,管理hadoop集群服务,监控集群都很容易。目前ambari支持的操作系统为rhel/centos 5、rhel/centos6 。
安装步骤为
1. 首先需要使用svn客户端获取ambari的源码
$ svn checkout http://svn.apache.org/repos/asf/incubator/ambari/trunk ambari
2. 对ambari源码进行打包编译
$ yum install rpm-build$ cd hmc/package/rpm$ ./create_hmc_rpm.sh$ cd mon_dashboard/package/rpm$ ./create_dashboard_rpm.sh如果编译成功的话,将会生成下面的rpm文件
1) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-1.0.0-1.noarch.rpm
2) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-agent-1.0.0-1.noarch.rpm
3) mon_dashboard/package/rpm/build/rpmbuild/RPMS/noarch/hdp_mon_dashboard-0.0.1-2.noarch.rpm
3. 安装ambari前需要做的步骤
将需要安装的hadoop集群按照namenode,datanode进行划分,namenode节点作为ambari master节点,其他节点作为ambari slave。
设置namenode节点到其他节点的无密码登陆的ssh设置。
将各个节点的防火墙停止 service iptables stop
4. 开始安装ambari
因为ambari需要依赖模块puppet ruby php apache等,所以需要先使用yum源安装这些组件
在每个节点设置系统yum源
$ sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpmOR $ sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm$ sudo rpm -Uvh http://passenger.stealthymonkeys.com/rhel/5/passenger-release.noarch.rpm$ sudo rpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos5/hdp-release-1.0.1.14-1.el5.noarch.rpm ( for rhel5/centos5 )ORrpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos6/hdp-release-1.0.1.14-1.el6.noarch.rpm (for rhel6/centos6 )
在ambari master主节点中安装puppet php等模块
$ sudo yum install php-pecl-json # version 1.2.1 compatible with php-5.1 or php-5.2$ sudo yum install php-pdo
检测是否安装posix$ php -m | grep posix如果没有找到posix模块,使用
$ sudo yum install php-process安装即可。
$ sudo yum install pdsh$ sudo yum install httpd-devel$ sudo yum install mod_passenger$ sudo yum install puppet-2.7.9$ sudo yum install ruby-devel上面的模块都安装完成后,在ambari master节点安装
$ sudo rpm -iv ambari-1.0.0-1.noarch.rpm $ sudo rpm -iv hdp_mon_dashboard-0.0.1-2.noarch.rpm在其他的slave节点安装
$ sudo rpm -Uvh ambari-agent-1.0.0-1.noarch.rpm
因为hadoop需要jdk环境运行,所以需要到 http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u26-download-400750.html 下载
1) jdk-6u26-linux-x64.bin
2) jdk-6u26-linux-i586.bin
安装包,然后放到 /var/run/hmc/downloads/文件夹中4. 启动ambari server开始安装集群
在ambari master主节点启动ambari server 服务
service ambari start然后在浏览器中打开
http://AMBARIMASTER/hmc/html/ 地址开始安装hadoop 集群
安装集群需要ambari master 节点中root 用户的SSH Private Key File ,路径在/root/.ssh/id_rsa
然后将所需要安装的slaves 节点所有hostname 每行一个进行分割存为文件
在页面中都选择好文件后,即可进行安装,在安装服务的过程中需要等一段时间,因为所需要的hadoop 都是通过yum 进行下载安装。
等安装成功后,即可对集群进行管理,监控了。
参考 http://incubator.apache.org/ambari/install.html
- ambari安装,hadoop管理工具
- Ambari集成Hadoop安装
- ambari安装Hadoop总结
- ambari安装hadoop
- 安装ambari部署hadoop集群
- 使用 Ambari 安装 Hadoop 集群
- 使用Ambari安装Hadoop集群
- ambari安装以及基于ambari的hadoop集群搭建
- ambari安装以及基于ambari的hadoop集群搭建
- hadoop集群ambari搭建(1)之ambari-server安装
- hadoop集群监控工具ambari安装
- hadoop集群监控工具ambari安装
- hadoop集群监控工具Ambari安装
- hadoop集群监控工具ambari安装
- 清理ambari安装的hadoop集群
- Ambari安装Hadoop及添加节点
- 虚拟机安装Ambari和Hadoop相关服务
- hadoop环境搭建之安装Ambari
- BOS工作流流程分析
- 关于cocos2dx的回调使用
- 设计模式六大原则之--单一职责原则(SRP)
- Android中如何自动弹出软键盘,本人亲自测试。可以哦!
- UNIX网络环境搭配,解决unp.h等问题
- ambari安装,hadoop管理工具
- oracle心得3--多表查询@分组查询@子查询讲解与案例分析@经典练习题
- ARM根文件系统制作
- ONE源代码分析——movement8之EveningActivityMovement
- IT35岁之前知道的10件事情
- Spring-security 锁定用户
- 数据量较大时,把数据放入缓存中的处理办法
- File::Find
- Python webbrowser模块的使用