hortonworks HDF（nifi）安装部署

已经安装了Ambari，主要是将Nifi服务集成进去好统一管理，安装HDF

组件链接：https://docs.hortonworks.com/，点击选择HDF参考相关docs文档即可。

截止2017年8月21日，目前最新版本是HDF-3.0.1.1，后面版本会继续更新（个人安装的版本为HDF-3.0.0.0）

一、安装前准备

关键下载链接地址：

https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.0.0/bk_release-notes/content/ch_hdf_relnotes.html

个人用的操作系统为CentOS 7，找到此处，先下载如下三个安装包

二、配置数据库

1. 配置Postgres

个人Ambari默认安装的是Postgres数据库（保证Postgres已安装）：

1）、配置Postgres允许远程连接，按下图更改：

# vim /var/lib/pgsql/data/pg_hba.conf

# vim /var/lib/pgsql/data/postgresql.conf

# systemctl restart postgresql

2. 配置SAM

1) 登录Postgres:

# su - postgres

$ psql

2) 创建数据库registry,密码也为registry

create database registry;

CREATE USER registry WITH PASSWORD 'registry';

GRANT ALL PRIVILEGES ON DATABASE "registry" to registry;

3) 创建数据库streamline,密码也为streamline

create database streamline;

CREATE USER streamline WITH PASSWORD 'streamline';

GRANT ALL PRIVILEGES ON DATABASE "streamline" to streamline;

3. 配置Druid

1) 登录Postgres:

# su - postgres

$ psql

2) 创建数据库、用户和密码都为druid，并授权

create database druid;

CREATE USER druid WITH PASSWORD 'druid';

GRANT ALL PRIVILEGES ON DATABASE  "druid" to druid;

3) 创建数据库、用户和密码都为superset，并授权

create database superset;

CREATE USER superset WITH PASSWORD 'superset';

GRANT ALL PRIVILEGES ON DATABASE "superset" to superset;

三、安装HDF

1. 安装HDFManagement Pack

将下载的hdf-ambari-mpack-3.0.0.0-453.tar.gz拷贝到/tmp目录下，执行如下命令

ambari-server install-mpack \

--mpack=/tmp/hdf-ambari-mpack-<version>.tar.gz \

--verbose

重启 Ambari server:

ambari-server restart

2. 更新HDF Base URL

点击Ambari menu中的admin下拉—》管理平台—》点击Clusters视图下的Versions—》点击HDP版本（HPD-2.6.1.0）

配置您的HDF Base URL，然后点击Save

3. 建立本地仓库（适合于无网环境）

下载hdf.repo需进行对应修改，放入位置/etc/yum.repos.d/目录下

下载HDF-3.0.0.0-centos7-rpm.tar.gz，个人解压到/var/www/html/repo/目录下即可，解压后如下所示：

# yum clean all (清除缓存)

# yum makecache (建立新缓存)

 

重启Ambari server

# ambari-server restart

四、安装NiFi

1. NiFi配置

添加Nifi服务组件，配置NiFi时，注意如下两个参数需要输入：

 Advanced-nifi-ambari-config（ specify the Encrypt Configuration Master Key Passwords，至少12位）

 Advanced-nifi-ambari-config（provide the Sensitive property values encryption password，至少10位）

2. 安装失败解决方案

安装Nifi过程中出现如下失败：

解决：1、运行命令yum install hdf-select安装hdf-select，再次尝试安装；还是同样失败；

2、进入报错目录cd /var/lib/ambari-agent/cache/common-services/NIFI/1.0.0/package/scripts/，修改params.py内容

（注释掉get_component_version_with_stack_selector函数，后面加上elif not后面那行函数）：

重新安装Nifi服务，启动ok。

点击，即可打开Nifi界面（HDF中Nifi默认9090端口，地址http://host:9090/nifi/）