初探hive

一.什么是hive

hive是基于hadoop的数据仓库工具，数据仓库一般是用来做查询分析的数据库，基本不用插入 、修改、删除操作；它可以将结构化的数据文件映射为一张数据库表，并提供sql查询，将sql转换成mapreducer任务进行运行。hive用HDFS进行存储，利用MapReduce进行计算。

二.hive架构

1.hive提供3个用户接口:CLI,Client和WEB UI.
2.hive将元数据信息存储到关系型数据库。hive的元数据包括表的名字，表的列和分区及属性，表的属性（是否是外部表），表的数据所在目录等。
3.解释器、编译器、优化器完成hql查询语句从词法分析、语法分析、编译、优化及查询计划的生成。生成的查询计划存储在hdfs上，并在随后有mapreduce调用执行.
4.hive的数据存储在hdfs中，大部分的查询、计算由mapreducer完成（select * from t_tablename不会产生mapreducer任务）。

三.hive三种搭建方式

准备条件：
安装hive，配置环境变量，将hive安装后的lib下jline-*.jar替换到hadoop下的jline-*.jar包。

1.本地derby
修改hive-site.xml配置如下：
<configuration> 
 <!--derby连接串 -->
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:derby:;databaseName=metastore_db;create=true</value>  
</property>  
<!--derby驱动 -->
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>org.apache.derby.jdbc.EmbeddedDriver</value>  
</property>  
<!--启动本地元数据 -->
<property>  
  <name>hive.metastore.local</name>  
  <value>true</value>  
</property>  
 <!--（HDFS上的）数据目录 -->  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/opt/hive/warehouse</value>  
</property>  
</configuration>  
这种方式的弊端在同一个目录下同时只能有一个hive客户端使用数据库.
测试：
hive>create table test_ds  
(  
  id int comment '用户ID',  
  name string comment '用户名称'  
)  
comment '测试分区表'  
partitioned by(ds string comment '时间分区字段')  
clustered by(id) sorted by(name) into 32 buckets  
row format delimited   
fields terminated by '\t'  
stored as rcfile;  

2.本地mysql
2.1yum方式安装mysql服务,命令如下：
yum -y install mysql-server
2.2启动mysql服务：
service mysqld start
2.3连接mysql
2.4重建访问mysql的用户名密码及授权等。
use mysql;
select host,user,password from user;
delete from user where user=''；--删除 user为空的用户
update user set password=PASSWORD('123456') where user='root';
flush privileges;--刷新权限
grant all privileges on *.* to 'root'@'%' identified by '123456'; --为其他客户端开


启连接权限  如果是hive和mysql在同一台服务器上则不需要授权
2.5将mysql驱动包放入hive安装目录lib下
2.6修改hive目录下conf配置文件hive-site.xml,配置如下：
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/opt/hive_local_mysql/warehouse</value>  
</property>  
   
<property>  
  <name>hive.metastore.local</name>  
  <value>true</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://localhost/hive_local_mysql?


createDatabaseIfNotExist=true</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>123456</value>  
</property>

3.远端mysql方式
这里有两种，一种是服务端与客户端一体(即hive的服务端与客户端放在同一台服务器上)，配置文件不需要拆分;另一种是服务端客户端分离方式。
这里采用第二种，服务端与客户端分离:
3.1node04节点服务端配置文件hive-site修改如下:
<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://192.168.61.14:3306/hive?createDatabaseIfNotExist=true</value> 
</property>  
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
</property>   
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>123456</value>  
</property>  
</configuration>  
3.2node03节点客户端配置文件：
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
<property>  
  <name>hive.metastore.local</name>  
  <value>false</value>  
</property> 
<!--监听服务端的hive默认端口 -->  
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://192.168.61.14:9083</value>  
</property>  
3.3在服务端执行hive --service metastore 2>&1 >> /var/log.log &，后台启动metastore.
3.4在客户端输入hive命令即可。