ambari安装详解

来源:互联网 发布:零式战斗机知乎 编辑:程序博客网 时间:2024/06/15 05:18

(一)准备工作
1、准备几台机器
10.1.51.100 ambariserver 本地mirrorserver及ambari server都在这一台机器
10.1.51.10 master
10.1.51.11 slave1
10.1.51.12 slave2
2、都创建管理用户hadoop
3、做ssh免密码登录(ambariserver到其他机器的,hadoop用户)
ssh-keygen
cd .ssh
cat id_rsa.pub >> authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
注意,免密码一定要互相登陆一次,让他记住密码
4、设置sudo免密码(hadoop用户)---后续所有操作都在hadoop用户下去做
在各节点上进入root:
visudo 加入如下内容:
hadoop ALL=(ALL) NOPASSWD: ALL
5、Maximum Open File Descriptors(10000)
检查语句
ulimit -Sn
ulimit -Hn
sudo vi /etc/security/limits.conf
@hadoop soft nproc 262144
@hadoop hard nproc 262144
@hadoop soft nofile 262144
@hadoop hard nofile 262144
sudo vi /etc/security/limits.d/90-nproc.conf
@hadoop soft nproc 262144
以上改动重启才能生效,最好同时执行ulimit -u 10240 命令,是其立即生效。(ulimit 命令很多啊)
6、Check Existing Package Versions
7、Set up Service User Accounts(设置服务用户账户)
http://docs.hortonworks.com/HDPDocuments/Ambari-2.0.0.0/Ambari_Doc_Suite/ADS_v200.html#ref-70627b43-7d78-4cbb-8df8-e3f43cbd8422
hdp的各个服务运行在不同的linux账户下,如果你创建了这些账户,ambari就会直接用,否则他会自动创建,但是自动创建的用户不知道密码是什么,但是还是可以
sudo su hdfs进入到这些用户下,不过这样就不方便了。
比较好的办法是自己创建的账户,使用ambari安装组件时选择自定义账户即可(UID >= 1000)。
8、Enable NTP on the Cluster and on the Browser Host
集群各节点,包括安装ambari webui的机器都得开启ntp服务已同步时间,如果有条件,局域网应该有ntp服务器
To check that the NTP service is on, run the following command on each host:chkconfig --list ntpd
To set the NTP service to start on reboot, run the following command on each host:chkconfig ntpd on
To turn on the NTP service, run the following command on each host:service ntpd start
9、Check DNS(可以选择10)
集群所有机器必须配置正向和反向DNS,如果条件不允许,就设置/etc/hosts文件,每个节点都得改
10、/etc/hosts
1.2.3.4 <fully.qualified.domain.name> //一行一个
注意:这两行千万不要删除
127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6
vi /etc/sysconfig/network
NETWORKING=yesNETWORKING_IPV6=yes HOSTNAME=<fully.qualified.domain.name>
11、关闭防火墙
12、Disable SELinux and PackageKit and check the umask Value
set SELINUX=disabled in /etc/selinux/config
sudo vi /etc/yum/pluginconf.d/refresh-packagekit.conf
设置:enabled=0
Ambari supports a umask value of 022 or 027
如果你是centos,且使用非root账户时,一定要改一下
sudo vi /etc/profile 将
if [ $UID -gt 199 ] &&[ "`id -gn`" = "`id -un`" ]; then
umask 002
else
umask 022
fi
改为:
if [ $UID -gt 199 ] &&[ "`id -gn`" = "`id -un`" ]; then
umask 022
else
umask 022
fi
http://baike.baidu.com/link?url=y6Bqna573QbDtjR6lxjFPXWGexQ8eTTHzNl-R8S_mM2outIS7BLvBbC2JKaGtEPpTYeiyMXD-zzr5F6xiGOlfq
------------------------前面的全部是准备性工作---------------------------------
(二)Using a Local Repository(以下操作先在mirrorserver上传一个本地的ambari和hdp的仓库,然后在准备安装ambari-server的机器上去下载本地仓库的配置文件)
1、Obtain the repositories(获取存储库)
a、Ambari Repositories
b、HDP Stack Repositories
我们获取两个库一个是Ambari,一个是HDP Stack,如果你没有有网络访问权限则下载打包好的软件包拷贝进来:
wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/ambari-2.0.0-centos6.tar.gz
wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/HDP-2.2.4.2-centos6-rpm.tar.gz
wget -nv http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz
如果有网,那就下载ambari.repo,把远程库的软件同步到本地:(不建议使用这种方式)
cd /etc/yum.repos.d/
sudo wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.0/ambari.repo
http://s3.amazonaws.com/dev.hortonworks.com/ambari/centos6/2.x/BUILDS/2.1.0-1409/ambaribn.repo
http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/BUILDS/
sudo wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.2.4.2/hdp.repo -O/etc/yum.repos.d/HDP.repo
2、Set up a local repository having(建立一个本地库)
a、Getting Started Setting Up a Local Repository(一些准备工作)
Select an existing server in, or accessible to the cluster, that runs a supported operating system. 选择一个集群内的或者可以接入集群的一台机器作为mirrorserver,操作系统必须是被支持的,我们这里选用ambariserver
Enable network accessfrom all hostsin yourcluster to the mirrorserver. 使集群中所有主机都能访问mirrorserver
Ensure the mirrorserver has a package manager installed such asyum (RHEL/ CentOS / Oracle Linux),zypper (SLES), or apt-get (Ubuntu).
Optional: Ifyour repository hastemporaryInternet access, and you are using RHEL/CentOS/Oracle Linux asyour OS, install yum utilities:
sudo yum install yum-utilscreaterepo
1.Create an HTTP server.
sudo yum install httpd
设置为开机启动
sudo chkconfig --level 0356 httpd on
2.On your mirrorserver,create a directoryforyour web server. mkdir -p /var/www/html/
b、下面的根据有无网络进行选择(跳过)
选项1、Setting Up a Local Repository with No Internet Access(无网络访问权限)
选项2、Setting Up a Local Repository with TemporaryInternet Access(临时可以上网)
1、把repo下载到/etc/yum.repos.d/下
cd /etc/yum.repos.d/
sudo wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.0/ambari.repo
sudo wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.0.0/hdp.repo -O/etc/yum.repos.d/HDP.repo
2、Confirm availability of the repositories(确定仓库的可用性)
yum repolist
3、Synchronize the repositorycontentsto your mirrorserver(把远程仓库的软件包同步到mirrorserver)
同步ambari的软件包:
cd /var/www/html
sudo mkdir -p ambari/centos6
cd ambari/centos6
sudo reposync-r Updates-ambari-2.1.0
同步HDP的软件包:
cd /var/www/html
sudo mkdir -p hdp/centos6
cd hdp/centos6
sudo reposync-r HDP-2.3.0.0
sudo reposync-r HDP-UTILS-1.1.0.20
4、Generate the repository metadata.(生成仓库元数据)
sudo createrepo /var/www/html/ambari/centos6/Updates-ambari-2.1.0
sudo createrepo /var/www/html/hdp/centos6/HDP-2.3.0.0
sudo createrepo /var/www/html/hdp/centos6/HDP-UTILS-1.1.0.20
5、Confirm thatyou can browse to the newlycreated repository
确认你可以浏览到新创建的存储库(网页上看见即可)
//sudo yum install yum-plugin-priorities
3、Prepare the Ambari repositoryconfiguration file(在要安装ambari-server的机器上配置Ambari repository的yum源)
注意:只需要在ambari-server上配置ambari.repo,名字都不用变,其他节点不需要。
因为我这里mirrorserver及ambari server都在这一台机器,所以只要把之前那个ambari.repo改一下即可(当你从外网同步软件包时得把这个文件改回去)
cd /etc/yum.repos.d/
vi ambari.repo
加入如下内容指向刚刚创建的本地ambari库:
[Updates-ambari-2.1.0]
name=ambari-2.0.0 - Updates
baseurl=http://10.128.7.101/ambari/centos6/Updates-ambari-2.1.0
gpgcheck=0
enabled=1
以下操作在Ambari Server上进行

(三)Download the Ambari Repo 检查仓库是否可用:
yum repolist
安装:
sudo yum install ambari-server


(四)Set Up the Ambari Server 输入以下命令开始配置:
sudo ambari-serversetup
1、如果你没禁用selinx,请按照提示输入y
2、这时会提示你是否指定一个用户来运行ambari-server,如果你要保持默认的root请选择n,输入y,然后再输入一个用户名就能指定其他用户,这里我们指定
hadoop
3、如果你没禁用防火墙,请按照提示输入y
4、选择jdk(自定义jdk一定要注意权限,要保证所有用户都能执行java)
5、如果选择下载jdk则要Accept the Oracle JDK license when prompted
6、选择ambari-server数据库的输入库
输入n则使用默认内置的PostgreSQL database for Ambari。
默认的数据库名是ambari,默认用户名密码是ambari/bigdata命令
Otherwise, to use an existing PostgreSQL, MySQL or Oracle database with Ambari,selecty.
http://docs.hortonworks.com/HDPDocuments/Ambari-2.0.0.0/Ambari_Doc_Suite/ADS_v200.html#ref-3df6a0bd-d91a-40d1-bbd0-079485e283e4
7、At Proceed with configuring remote database connection properties[y/n] choose y//允许远程连接
Setup Options:---基本无用
-j (or --java-home)
--jdbc-driver
--jdbc-db指定数据库,Valid values are: [postgres| mysql | oracle] Use this option with the --jdbc-driver option to specifythe location of the JDBC driver
JAR file.
-g (or --debug)
-v(or --verbose)
配置文件在/etc/ambari-server/conf下

原创粉丝点击
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防,我是瞎子 脱硫塔里的二氧化硫高怎么办 恐怖黎明铁匠选错怎么办 堡垒之夜草变色怎么办 火柴没有擦的了怎么办 乙醚倒进下水道了怎么办 乙醚和水不分层怎么办 乙醚闻多了头晕怎么办 爱乐维吃了便秘怎么办 刮完滑石粉墙面很软怎么办 被硫酸泼到皮肤怎么办 头磕了一下头晕怎么办 家里有事与工作不能请怎么办 撞了头头晕想吐怎么办 猫不小心摔一下怎么办 一氧化二氮中毒怎么办 电脑开机变慢了怎么办 怎么办抚顺韦德健身卡 预售健身卡合法吗怎么办 被浓硫酸泼到怎么办 婴儿误喝了生水怎么办 宝宝喝了生水拉肚子怎么办 因妈妈喝生水宝宝拉肚子怎么办 喝了几口生水怎么办 不小心吃到蟑螂怎么办 吃了有蛆的樱桃怎么办 不小心误食了蛆怎么办 吃了有蟑螂的汤怎么办 调节天平时指针向右怎么办 香薰蜡烛融化了怎么办 香薰蜡烛挂壁怎么办y 粗蜡烛只烧中间怎么办 紫薯馒头变绿怎么办 小孩手开水烫了怎么办 被油烫伤了怎么办才不留疤 烫伤水泡蹭破了怎么办 烧伤的水泡破了怎么办 烧伤后水泡破了怎么办 烫伤泡破了红肿怎么办 烧伤第二天水泡破了怎么办? 烧伤后换药特别疼怎么办 盐酸溅到皮肤上怎么办