数据仓库Hive表

数据仓库Hive表，并且导入数据，整理文档

 移除点击此处添加图片说明文字

​

接下来跑服务器环境，环境和本地有所区别了。​

首先我们拿到几个目录，可以开干了。源数据目录，hdfs放置目录，集群地址即可。

 移除点击此处添加图片说明文字

​

tar zxvf SafeData-2017-06-26.har.tar.gz -C /data/data/

 移除点击此处添加图片说明文字

​可以看到：

 移除点击此处添加图片说明文字

​因为这里是真正的集群环境，所以，有了环境变量：

 移除点击此处添加图片说明文字

​然后我们检查一下目录，找到他：

hadoop fs -ls /user/hive/warehouse/

 移除点击此处添加图片说明文字

​hadoop fs -mkdir /user/hive/warehouse/testing.db/input

hadoop fs -mkdir /user/hive/warehouse/testing.db/output

创建一个input输入，一个input输出。

走到这里还有两步就可以跑了。让maven打jar包。

 移除点击此处添加图片说明文字

​放到服务器上，然后还有，把解压后的文件拿到hdfs上。

hadoop fs -put /data/data/SafeData-2017-06-26.har/ /user/hive/warehouse/testing.db/input/

因为总共有好多个GB，所以，要等很久，估计得有15分钟吧。然后可以开搞了。

hadoop jar /data/MR-0.0.1-SNAPSHOT.jar com.mr.DataCollection_02 /user/hive/warehouse/testing.db/input/ /user/hive/warehouse/testing.db/output/ utf-8

 移除点击此处添加图片说明文字

​然后就开始跑了。。。但是总感觉不对劲啊，哪有这么快的，7个g，一下子就跑完了？等下我们看看。

 移除点击此处添加图片说明文字

​可以看一下时间间隔，实在是太快了。

 移除点击此处添加图片说明文字

​然后以后我们每天就可以用这个mr跑定时的按天过来的数据了，这个要交给shell脚本了，把命令一个个敲一下。那么现在，让我们把得到的数据，放到hive里，提供计算。首先库已经被创建了，我们去看一下。

进入后，切换用户，su hive

hive

show databases;

use d;

然后我们创建建表文档：

 移除点击此处添加图片说明文字

​然后创建建表语句：

 移除点击此处添加图片说明文字

​然后，我们建表发现报错：

 移除点击此处添加图片说明文字

​原因，由于两个string

 移除点击此处添加图片说明文字

​改好之后，我们重新创建表，出现ok

 移除点击此处添加图片说明文字

然后我们先查一下这个db下面发现没有分区：

hadoop fs -ls /user/hive/warehouse/d.db/d_satedata_base_day/

发现是空的，所以我们要去hive里面创建分区

​然后我们创建分区：

alter table d.d_safedata_base_day add partition(dt='20170626');

接着查看一下

hadoop fs -ls /user/hive/warehouse/d.db/d_safedata_base_day/

 移除点击此处添加图片说明文字

​可以看到分区已经来了，接下来，我们要导入：

hadoop fs -cp /user/hive/warehouse/testing.db/output/base-r-* /user/hive/warehouse/d.db/d_safedata_base_day/dt=20170626

导入完毕之后，我们看一下

select * from d.d_safedata_base_day where dt='20170626' limit 20;

 移除点击此处添加图片说明文字

​数据导入hive成功。

但是，但是，当时间来到第四张表，也是晚上7点30时，发生了问题，挺严重的。

​

 移除点击此处添加图片说明文字

​等了一晚上，看别人的是没问题的，我靠，然后查一下。

在通过终端查询Hive时，终端结果显示为乱码。

这种情况出现的原因是：

1.ssh终端里的编码不是utf-8

如使用scrt,xshell等,都要把编码设成utf-8

2.hive在将数据写入hdfs时候，会把数据格式转换为utf-8格式的。

如果你导入hive表的源数据不是utf-8格式的，hive在进行写hdfs转换格式的时候会出现乱码，所有你查询出来的中文也是乱码。

解决办法：把源文件，用editplus等编辑软件打开，将文件转换为urf-8格式，保存。再重新导入到hive表中，问题解决。源文件只要是文本格式，如csv，txt，log等文本格式，均可用此种方法转化。

很显然是第一个原因，那我们就改xshell的编码格式。

文件-配置-》然后修改

 移除点击此处添加图片说明文字

​之后就可以了：

 移除点击此处添加图片说明文字

​这是个小坑，无所谓的，然后就是，领导提醒，这个表名称不可用，不可读，需要写完整了。那我们还得删除表。

最终经过很久，终于完成了。

 移除点击此处添加图片说明文字

​这是通话记录：

 移除点击此处添加图片说明文字

​

 移除点击此处添加图片说明文字

​当然也包括文档：

 移除点击此处添加图片说明文字

​好了，交差。现在hive里面可以处理了。这么做是有意义的啊，看一下：

 移除点击此处添加图片说明文字

​这样是没法作分析的，直接json数组放到字段里面。然而现在呢，

 移除点击此处添加图片说明文字

​这样就完全可以处理了，维度被细粒化了，更容易做画像了。

好了，休息会儿吧，1点坐在电脑前到6点，动都没动过，交差了。

 移除点击此处添加图片说明文字

​

接下来跑服务器环境，环境和本地有所区别了。​

首先我们拿到几个目录，可以开干了。源数据目录，hdfs放置目录，集群地址即可。

 移除点击此处添加图片说明文字

​

tar zxvf SafeData-2017-06-26.har.tar.gz -C /data/data/

 移除点击此处添加图片说明文字

​可以看到：

 移除点击此处添加图片说明文字

​因为这里是真正的集群环境，所以，有了环境变量：

 移除点击此处添加图片说明文字

​然后我们检查一下目录，找到他：

hadoop fs -ls /user/hive/warehouse/

 移除点击此处添加图片说明文字

​hadoop fs -mkdir /user/hive/warehouse/testing.db/input

hadoop fs -mkdir /user/hive/warehouse/testing.db/output

创建一个input输入，一个input输出。

走到这里还有两步就可以跑了。让maven打jar包。

 移除点击此处添加图片说明文字

​放到服务器上，然后还有，把解压后的文件拿到hdfs上。

hadoop fs -put /data/data/SafeData-2017-06-26.har/ /user/hive/warehouse/testing.db/input/

因为总共有好多个GB，所以，要等很久，估计得有15分钟吧。然后可以开搞了。

hadoop jar /data/MR-0.0.1-SNAPSHOT.jar com.mr.DataCollection_02 /user/hive/warehouse/testing.db/input/ /user/hive/warehouse/testing.db/output/ utf-8

 移除点击此处添加图片说明文字

​然后就开始跑了。。。但是总感觉不对劲啊，哪有这么快的，7个g，一下子就跑完了？等下我们看看。

 移除点击此处添加图片说明文字

​可以看一下时间间隔，实在是太快了。

 移除点击此处添加图片说明文字

​然后以后我们每天就可以用这个mr跑定时的按天过来的数据了，这个要交给shell脚本了，把命令一个个敲一下。那么现在，让我们把得到的数据，放到hive里，提供计算。首先库已经被创建了，我们去看一下。

进入后，切换用户，su hive

hive

show databases;

use d;

然后我们创建建表文档：

 移除点击此处添加图片说明文字

​然后创建建表语句：

 移除点击此处添加图片说明文字

​然后，我们建表发现报错：

 移除点击此处添加图片说明文字

​原因，由于两个string

 移除点击此处添加图片说明文字

​改好之后，我们重新创建表，出现ok

 移除点击此处添加图片说明文字

然后我们先查一下这个db下面发现没有分区：

hadoop fs -ls /user/hive/warehouse/d.db/d_satedata_base_day/

发现是空的，所以我们要去hive里面创建分区

​然后我们创建分区：

alter table d.d_safedata_base_day add partition(dt='20170626');

接着查看一下

hadoop fs -ls /user/hive/warehouse/d.db/d_safedata_base_day/

 移除点击此处添加图片说明文字

​可以看到分区已经来了，接下来，我们要导入：

hadoop fs -cp /user/hive/warehouse/testing.db/output/base-r-* /user/hive/warehouse/d.db/d_safedata_base_day/dt=20170626

导入完毕之后，我们看一下

select * from d.d_safedata_base_day where dt='20170626' limit 20;

 移除点击此处添加图片说明文字

​数据导入hive成功。

但是，但是，当时间来到第四张表，也是晚上7点30时，发生了问题，挺严重的。

​

 移除点击此处添加图片说明文字

​等了一晚上，看别人的是没问题的，我靠，然后查一下。

在通过终端查询Hive时，终端结果显示为乱码。

这种情况出现的原因是：

1.ssh终端里的编码不是utf-8

如使用scrt,xshell等,都要把编码设成utf-8

2.hive在将数据写入hdfs时候，会把数据格式转换为utf-8格式的。

如果你导入hive表的源数据不是utf-8格式的，hive在进行写hdfs转换格式的时候会出现乱码，所有你查询出来的中文也是乱码。

解决办法：把源文件，用editplus等编辑软件打开，将文件转换为urf-8格式，保存。再重新导入到hive表中，问题解决。源文件只要是文本格式，如csv，txt，log等文本格式，均可用此种方法转化。

很显然是第一个原因，那我们就改xshell的编码格式。

文件-配置-》然后修改

 移除点击此处添加图片说明文字

​之后就可以了：

 移除点击此处添加图片说明文字

​这是个小坑，无所谓的，然后就是，领导提醒，这个表名称不可用，不可读，需要写完整了。那我们还得删除表。

最终经过很久，终于完成了。

 移除点击此处添加图片说明文字

​这是通话记录：

 移除点击此处添加图片说明文字

​

 移除点击此处添加图片说明文字

​当然也包括文档：

 移除点击此处添加图片说明文字

​好了，交差。现在hive里面可以处理了。这么做是有意义的啊，看一下：

 移除点击此处添加图片说明文字

​这样是没法作分析的，直接json数组放到字段里面。然而现在呢，

 移除点击此处添加图片说明文字

​这样就完全可以处理了，维度被细粒化了，更容易做画像了。

好了，休息会儿吧，1点坐在电脑前到6点，动都没动过，交差了。

​

​