hue在centos7下的安装

1.hue简介

1.1什么是hue？
HUE=Hadoop User Experience

Hue是一个开源的Apache hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览Hbase数据库等等。

1.2.hue的链接

• 官网：http://gethue.com/
• Github: https://github.com/cloudera/hue
• Reviews: https://review.cloudera.org

1.3hue的架构

1.4核心功能

• SQL编辑器，支持Hive, Impala, MySQL, Oracle, PostgreSQL, SparkSQL, Solr SQL, Phoenix…
• 搜索引擎Solr的各种图表
• Spark和Hadoop的友好界面支持
• 支持调度系统Apache Oozie，可进行workflow的编辑、查看
• 将数据导入hdfs
• 浏览器查看状态,支持 YARN, HDFS, Hive table Metastore, HBase, ZooKeeper

HUE提供的这些功能相比Hadoop生态各组件提供的界面更加友好，但是一些需要debug的场景可能还是需要使用原生系统才能更加深入的找到错误的原因。

HUE中查看Oozie workflow时，也可以很方便的看到整个workflow的DAG图，不过在最新版本中已经将DAG图去掉了，只能看到workflow中的action列表和他们之间的跳转关系，想要看DAG图的仍然可以使用oozie原生的界面系统查看。
1.5hue的特性

• 图形化交互程序：节约学习成本
• 多应用同平台，便捷的操作流程
• 提示、自动补全功能
• 查询结果表格化、图形化显示、结果记忆功能
• 不同用户定制化服务

2.hue的安装

2.1运行环境
虚拟机：centos7
安装软件：
hadoop-2.7.3
hive-2.3.0
jdk1.8+
hue-4.0.1
MySQL数据库

2.2安装hadoop集群、hive
安装hadoop伪分布式：http://blog.csdn.net/qq_38799155/article/details/77748831
安装hive：http://blog.csdn.net/qq_38799155/article/details/77605615

2.3下载、安装hue
在root用户下安装wget

# yum -y install wget

退出root用户，切换到hadoop用户下执行，下载hue

$ wget https://github.com/cloudera/hue/archive/release-4.0.1.tar.gz

下载完成之后，开始解压

tar -zvxf release-4.0.1.tar.gz

2.4修改hadoop配置
参考之前的博客，在hadoop之前修改的配置问价基础之上，添加如下配置
1.core-site.xml

<property>  <name>hadoop.proxyuser.hue.hosts</name>  <value>*</value></property><property>  <name>hadoop.proxyuser.hue.groups</name>  <value>*</value></property>

2.hdfs-site.xml

<property>  <name>dfs.webhdfs.enabled</name>  <value>true</value></property>

3.httpfs-site.xml

<property>  <name>httpfs.proxyuser.hue.hosts</name>  <value>*</value></property><property>  <name>httpfs.proxyuser.hue.groups</name>  <value>*</value></property>

2.5添加hue依赖
不同的虚拟机、版本添加的依赖不同。如图所示，根据自己使用的虚拟机去添加依赖

笔者所需的依赖是这些：

yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-setuptools python-simplejson sqlite-devel ant gmp-develyum install -y cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapiyum -y install libffi-develyum -y install openldap-devel （重新编译）

2.6检查hue的依赖是否安装完整

$ cd hue-release-4.0.1 hue/$ PREFIX=/home/hadoop make install

2.7配置hue
到hue/desktop/conf/下修改pseudo-distributed.ini.tmpl文件

$ cd hue/$ cd desktop/conf/$ cp pseudo-distributed.ini.tmpl pseudo-distributed.ini$ vi pseudo-distributed.ini

修改的地方如图所示：

2.8.hua连接MySQL

2.9启动hive和hue

//启动hiveserver2$ hiveserver2//启动hue$ cd /home/hadoop/hue/build/env/bin$ ./supervisor

注意：自己搭建了HUE，则第一次可以使用管理员账户创建一个新的用户，然后使用新的用户进行登录，见下图：

成功登陆之后，HUE可以很方便的浏览HDFS中的目录和文件，并且进行文件和目录的创建、复制、删除、下载以及修改权限等操作。

HDFS实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者（owner）和一个组（group）。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。但，用户身份机制对HDFS本身来说只是外部特性。HDFS并不提供创建用户身份、创建组或处理用户凭证等功能。 使用HUE访问HDFS时，HDFS简单的将HUE上的用户名和组的名称进行权限的校验。

遇到的问题以及解决的办法

使用hive 0.13.0时会报

can't fetch result之类的错误

是版本原因，升级hive版本为2.3.0问题消失

连接hive error

Could not install table: Error creating table sample_07: Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found (code THRIFTTRANSPORT): TTransportException('Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found',).

解决办法：

yum -y install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

配置参考网址：http://cloudera.github.io/hue/docs-4.0.0/manual.html#_hive_configuration
hue的一些常见问题：http://www.cnblogs.com/zlslch/p/6819622.html?utm_source=itdadao&utm_medium=referral