HDP安装前准备(一)

说明：在进行HDP安装之前需要进行一些准备工作，根据笔者的实践经验，将之分为以下几个部分

1. 对HDP的基本认知
   主要讲解HDP的一些相关组件，对HDP提供的大数据平台方案有一个整体印象

2. 确认集群部署方案
   根据数据处理的实际需求，确认所需集群大小、组件选择、安全方案等

3. 最低资源配置需求
   根据实际需求，确认主机能够为集群提供必要的资源配置

4. 系统环境配置

重要：进行HDP安装时必要的环境配置，将会决定安装能够成功

1.1 ntp 时间同步

由于一些类似于kerberos认证的服务，对节点之间的时间同步比较严苛，如果节点之间的时差过大可能导致节点的功能异常，所以在装机之前请确认节点之间的机器已经完成时间同步。

1.2 ssh无密码登录

• 使用ssh命令完成无密码登录操作
• 本机登录

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

• 远程登录（将公钥发送到需要无密码登录的目标节点）

  ssh-copy-id -i ~/.ssh/id_rsa.pub [e-mail]

*注：集群的每一台机器都需要执行以上操作以保证能够互相免密登录

1.3 关闭防火墙

• RHEL/CentOS/Oracle Linux 6

service iptables stopchkconfig iptables off/etc/init.d/iptables stop

1.4 JDK安装

如果你需要使用Kerberos进行Hadoop的集群管理，你可能需要同时下载JCE8

1. 下载jdk1.8安装包

2. 将文件传到指定目录

scp ~/Desktop/jdk-8u121-linux-x64.tar.gz [e-mail]:/usr/local/java

3、解压文件

  tar -zxvf jdk-8u121-linux-x64.tar.gz  

4、配置环境变量
vim /etc/profile
在文件末尾添加:

  $JAVA_HOME=/usr/local/java/jdk1.8.0_121  export PATH=$JAVA_HOME/bin:$PATH

*注：
你可以先不去管Kerberos的事情，我们会有专门的一个版块来讲解配置Kerberos的事项，或者你可以先参考：
Hortonworks关于Kerberos的文档

1.5 安装 JCE

因为该版本会用到Kerberos进行Hadoop集群的安全保障，所以将会在此阶段配置JCE

1. 下载JCE安装包

   • JCE7(For JDK1.7)
   • JCE8(For JDK1.8)

2. 将安装包解压到指定路径($JAVA_HOME/jre/lib/security/)

unzip -o -j -q jce_policy-8.zip -d $JAVA_HOME/jre/lib/security/

1.6 禁用 SELinux和 PackageKit

1. 禁用selinux

   • 查看当前SELinux状态
     /usr/sbin/sestatus
   • 在当前终端禁用SELinux

setenforce 0

• 永久禁用SELinux

vim /etc/selinux/config#确认SELINUX为禁用状态SELINUX=disabled

• 重启计算机
  sudo reboot

2、 禁用PackageKit

• 通常在centos和redhat中为开启

vim /etc/yum/pluginconf.d/refresh-packagekit.conf#确认packagekit为禁用状态enabled=0

3、 检查UMASK

• 检查系统UMASK
  umask

• 设置当前UMASK
  umask 0022

• 永久生效
  echo umask 0022 >> /etc/profile

1.7 修改用户名

• 临时修改用户名

sudo hostname myname
* 永久修改用户名

vi /etc/sysconfig/network

编辑hosts文件

vi /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6xx.xxx.xx.1 hdp01.bigdata.com.cn hdp01xx.xxx.xx.2 hdp02.bigdata.com.cn hdp02xx.xxx.xx.3 hdp03.bigdata.com.cn hdp03xx.xxx.xx.4 hdp04.bigdata.com.cn hdp04xx.xxx.xx.5 hdp05.bigdata.com.cn hdp05xx.xxx.xx.6 hdp06.bigdata.com.cn hdp06

1.8 部署方案确认

• 基本方案

部署工具：选用Ambari作为本次自动化部署的工具部署组件：HDFS、HBASE、HIVE、SPARK、Ranger、Knox

• 集群安全方案
  启用kerberos服务，确保集群安全

• 数据权限管理方案
  使用Ranger作为数据权限管理组件