Centos6.5+Ambari的HDP搭建

来源：互联网发布：网络游戏软件开发编辑：程序博客网时间：2024/06/11 15:16

注：文中出现的test1，app1，在；zlbw1，三个主机名可以认为是一个，文章是在搭建三个中编写

服务器

jdk

Ambari

机器系统

Zlbw1

192.168.159.101

1.8

2.4.2.0

CenOS6.5

Zlbw2

192.168.159.101

1.8

CenOS6.5

Zlbw3

192.168.159.101

1.8

CenOS6.5

1、设置hosts映射

192.168.159.101 zlbw1

192.168.159.102 zlbw2

192.168.159.103 zlbw3

2、设置免登陆

1.生成ssh免登陆密钥：ssh-keygen -t rsassh-keygen -t rsa（四个回车）ssh-keygen -t rsa---生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
2.公钥授权：ssh-copy-id其他机器或者把公钥追加到授权的key中---cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

3、单机安装JDK

usr/local下创建文件夹java：mkdir java

将jdk放至java文件夹并解压

tar -zxvf jdk...........

配置环境变量

vi /etc/profile

G跳至末尾

4、拷贝jdk和环境变量

scp -r /usr/local/java zlbw2:/usr/local

scp-r /etc/profile zlbw2:/ etc /

scp -r /usr/local/java zlbw3:/usr/local

scp-r/etc/profilezlbw3:/ etc /

5、安装mysql

检查是否已经安装了mysql

rpm -qa | grep -i mysql

如果有，可以删除mysql

也可以不删除使用系统自带

删除：（root权限下）

yum -y remove 系统自带版本

rpm -ivhMySQL-server-5.5.45-1.linux2.6.x86_64.rpm --force --nodeps

rpm -ivhMySQL-client-5.5.45-1.linux2.6.x86_64.rpm --force --nodeps

/usr/bin/mysql_install_db

service mysql start

mysql

mysql>create databse ambari;

mysql>insert intomysql.user(Host,User,Password) values("zlbw1","ambari",password("ambari");

mysql>flush privileges;

mysql>exit;

service mysql restart

mysql

mysql>grant all privileges on ambari.* to ambari@ zlbw1 identified by'ambari';

mysql>flush privileges;

mysql>exit;

不删除：

mysql

mysql>create databse ambari;

mysql>insert intomysql.user(Host,User,Password) values("zlbw1","ambari",password("ambari"));

mysql>grant all privileges on ambari.* to ambari@ zlbw1 identified by 'ambari';

mysql>flush privileges;

mysql>exit;

6、安装Ambari

将Ambari存储库文件下载到安装主机上的目录。

wget -nvhttp://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari.repo-O /etc/yum.repos.d/ambari.repo

注：如没有wget，需要安装wget，命令yum -y install wget 安装

通过检查repo列表确认存储库已配置

yum repolist

安装Ambari

yum install ambari-service

或

yum -yinstall ambari-server

安装时间很长，也可以事先下载好安装包离线安装

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos6.tar.gz

安装完成后

7、数据库设置

找一个连接器，我这里是从我本地maven库里找的

下载地址：http://dl.download.csdn.net/down10/20150629/6b770f319812fc917c331a576928db24.jar?response-content-disposition=attachment%3Bfilename%3D%22mysql-connector-java-5.1.35.jar%22&OSSAccessKeyId=9q6nvzoJGowBj4q1&Expires=1500549914&Signature=ns93wOxOb4dV%2FDBFCOM8F7DjLBU%3D

先在/usr/share下创建java目录

把这个包分别拷贝进

/usr/share/java

/usr/lib/ambari-server

数据库root没有密码

mysql ambari</var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

数据库有密码

mysql ambari -uroot -proot</var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

ambari-server setup

密码我设置的是ambari

8、其他问题设置：

8.1关闭linux swap

执行:cat /proc/sys/vm/swappiness

结果为0表示已经关闭，否则执行

sysctl -wvm.swappiness=0

vi/etc/sysctl.conf

在最后添加:vm.swappiness=0

然后执行: sysctl -p /etc/sysctl.conf

可以看到刚才设置的vm.swappiness=0，设置成功

8.2关闭selinux

执行立即关闭命令:setenforce 0

查看状态:getenforce

显示:Permissive

表示已经关闭

永久关闭:vi /etc/selinux/config

将SELINUX=enforcing改成SELINUX=disabled

保存，然后需要重启系统

查看selinux状态，执行:sestatus -v

显示:SELinux status: disabled

表示已经关闭。

8.3安装ntpd

查看是否安装ntp

     rpm -aq | grep ntpd

安装：yum install ntp

     开机启动：chkconfig ntpd on

     启动：service ntpd start

9、启动ambari

ambari-server start

登陆网址

http://zlbw1:8080

或

http://192.168.159.101:8080

默认admin

admin

10、搭建集群

10.1、点击创建集群

10.2、设置集群名称

10.3、选择HDP版本和库

选择库有两种，一种是公共库，一种是本地库

建立分支：

分支一：公共库

根据linux版本选择

比如我的是centos6.5，只选择redhat6就行，其他版本可以remove；

点击NEXT

10.3.1、主机名和SSH私钥

私钥是ambari所在主机的秘钥

WINscp将/root/.ssh/下的id_rsa下载下来

点击选择文件，选择id_rsa

10.3.1、开始安装

安装成功，但是警告，

Click here to seethe warnings.

如果是：THP问题在每台机器上执行：

echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag

echo never >/sys/kernel/mm/redhat_transparent_hugepage/enabled

echo never >/sys/kernel/mm/transparent_hugepage/enabled

echo never >/sys/kernel/mm/transparent_hugepage/defrag

如果是用户问题，每台机器上执行：

python/usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip =users

返回后NEXT

选择服务

选择后NEXT

好

选择服务安装的机器，之后NEXT

自定义服务

如果进去这个页面，在服务上有红色标识的事需要需要设置账户、密码

默认170

next --->部署--->

自动安装一夜后：

点击stoped，选择start

跳出安装列表

Start Activity Anyalyzer:

之后发现都是这种：

有两种情况会导致

1、防火墙

2、没有安装httpd服务或者服务没有开启

进入hive view

显示没有该文件

解决方案1：

使用dfs的创建者操作

sudo -uhdfs hadoop fs -mkdir /user/admin

sudo -uhdfs hadoop fs -chown admin:hadoop/user/admin

启动高可用

HDFS-----> Service Actions----> EnableNameNode HA

1、

2、

3、

4、

选择namenode

5、

6、需要手动设置，进入app1（zlbw1,test1）运行图中命令

7、自动完成

8、手动初始化JournalNodes

9、自动完成启动组件

10、手动初始化元数据

图中的两条命令分别在不同的机器上执行

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

以上是我上月做的文档，这一步后面没有内容了

阅读全文

0 0