hive 与 kylin的搭建

hive安装

前言

由于kylin现在最高支持的hive版本为1.2.1，所以只能安装此版本，不能安装hive2.0。使用hive需要事先安装好ant，具体安装过程不进行介绍，还需要一个mysql来保存hive的元数据。

编译hive

编译hive一定要保证网络通畅，编译过程中会出现个别的包无法下载，导致错误，换个时间或者调整网络环境，从新编译，就可以了

解压源码包。进行编译。

tar -xzvf apache-hive-1.2.1-src.tar.gz cd apache-hive-1.2.1-src 

修改pom.xml中的如下项

hadoop-23.versionhbase.hadoop2.version保存完毕后，执行编译命令

mvn clean package -Phadoop-2,dist -DskipTests

编译完毕后，源代码在packaging/target/apache-hive-1.2.1-bin.tar.gz

部署hive

解压hive

tar -xzvf apache-hive-1.2.1-bin.tar.gzmv apache-hive-1.2.1-bin /home/hadooper/hive

在hive源码包中，打包web 界面

cd hwi/webzip -rq hive-hwi-1.2.1.war *mv hive-hwi-1.2.1.war /home/hadooper/hive/lib/

复制hive必须的包

cp /home/hadooper/hbase/lib/hbase* /home/hadooper/hive/lib/cp /home/hadooper/hadoop/lib/*.jar /home/hadooper/hive/lib/

修改hive目录的权限

chown -R hadooper.hadooper /home/hadooper/hive

创建hive的log目录

mkdir /home/hadooper/data/hive

chown -R hadooper.hadooper /home/hadooper/data/hive

mkdir /home/hadooper/hive/logs

chown -R hadooper.hadooper /home/hadooper/hive/logs

修改配置文件

#将模板复制成正常的配置文件mv hive-default.xml.template hive-site.xml修改里边的如下项hive.exec.local.scratchdir = /home/hadooper/data/hive/hadooperhive.downloaded.resources.dir = /home/hadooper/data/hive/${hive.session.id}_resourceshive.metastore.warehouse.dir=hdfs://hhts/hive/warehousehive.metastore.uris=thrift://172.16.1.90:9083javax.jdo.option.ConnectionPassword=mysql的密码javax.jdo.option.ConnectionURL=mysql的链接参数，格式为jdbc:mysql://mysql地址:3306/数据库名称?createDatabaseIfNotExist=truejavax.jdo.option.ConnectionUserName=mysql用户名hive.aux.jars.path=file:///home/hadooper/hive/lib/hive-hbase-handler-1.2.1.jar,file:///home/hadooper/hive/lib/protobuf-java-2.5.0.jar,file:///home/hadooper/hive/lib/hbase-client-1.2.4.jar,file:///home/hadooper/hive/lib/hbase-common-1.2.4.jar,file:///home/hadooper/hive/lib/hbase-hadoop2-compat-1.2.4.jar,file:///home/hadooper/hive/lib/zookeeper-3.4.9.jar,file:///home/hadooper/hive/lib/guava-14.0.1.jarhive.querylog.location=/home/hadooper/data/hive/queryloghive.hwi.war.file=lib/hive-hwi-1.2.1.warhive.zookeeper.quorum=zookeeper节点1,zookeeper节点nhive.zookeeper.client.port=zookeeper端口号hive.server2.logging.operation.log.location=/home/hadooper/data/hive/operation_logs

配置环境变量

在/etc/profile中，配置如下

export ANT_HOME=/usr/local/antexport HIVE_HOME=/home/hadooper/hiveexport HCAT_HOME=$HIVE_HOME/hcatalogexport HIVE_CONF=$HIVE_HOME/confexport hive_dependency=/home/hadooper/hive/conf:/home/hadooper/hive/lib/*:/home/hadooper/hive/hcatalog/share/hcatalog/hive-hcatalog-pig-adapter-1.2.1.jar:/home/hadooper/hive/hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1.jar:/home/hadooper/hive/hcatalog/share/hcatalog/hive-hcatalog-server-extensions-1.2.1.jar:/home/hadooper/hive/hcatalog/share/hcatalog/hive-hcatalog-streaming-1.2.1.jar:/home/hadooper/hive/lib/hive-exec-1.2.1.jarPATH=$PATH:$HIVE_HOME/bin:$HCAT_HOME/binCLASSPATH=.:$HIVE_HOME/lib

运行如下命令，即时生效

source /etc/profile

同时修改同样的内容到/home/hadooper/.baserc

启动hive

切换到hadooper用户

su hadoopercd /home/hadooper/hive/bin/

启动hive服务

nohup /home/hadooper/hive/bin/hive --service hiveserver2 > /home/hadooper/hive/logs/hiveserver2.log&

启动metastore服务

nohup /home/hadooper/hive/bin/hive --service metastore -p 9083 > /home/hadooper/hive/logs/metastore.log&

启动web界面服务

nohup /home/hadooper/hive/bin/hive --service hwi > /home/hadooper/hive/logs/hwi.log&

kylin安装

配置环境变量

在/etc/profile文件中增加如下内容：

export KYLIN_HOME=/home/hadooper/kylinPATH=$PATH:$KYLIN_HOME/bin

运行source /etc/profile生效

修改hadooper的环境变量，在文件/home/hadooper/.baserc增加相同的内容

部署及配置

下载apache-kylin-1.5.4.1-hbase1.x-bin.tar.gz，

解压后复制到/home/hadooper下，重命名为kylin,

进入/home/hadooper/kylin/tomcat/conf下，修改catalina.properties中的

shared.loader=/home/hadooper/hive/lib/*.jar

保存文件

进入到/home/hadooper/kylin/conf目录下，运行如下命令

ln -s /home/hadooper/hive/conf/hive_site.xml

检查部署是否有问题，分别运行/home/hadooper/kylin/bin下的如下文件

check-env.shfind-hbase-dependency.shfind-hive-dependency.sh

如果均不报错，则认为配置成功

启动kylin

/home/hadooper/kylin/bin/kylin.sh start

完成启动