如何以最快的速度了解并使用HIVE数据库
来源:互联网 发布:格林德沃 知乎 编辑:程序博客网 时间:2024/05/22 13:37
如何以最快的速度了解并使用HIVE数据库,下面将给出一个笔记(里面的一些术语如是不清楚,先去了解下hadoop语法后再来看这个会比较好)
1.用hive命令开始服务,当然之前一定要开启hadoop服务
然后关闭安全模式
2.创建表
create table hivetable
(id int,
user string,
age int,
tel string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘|’
STORED AS TEXTFILE;
3.向表中加载数据
在本地任意位置新建一个文件,如/home/neil/Downloads/hivetxt/test.txt,在里面输入数据如下
1|user1|25|13188888888888
2|user2|30|13888888888888
3|user3|3|147896221
4|user4|56|899314121
5|user5|12|899314121
6|user6|9|899314121
7|user7|32|899314121
8|user8|42|158964
9|user9|86|899314121
10|user10|45|789541
当然用echo “” > /home/neil/Downloads/hivetxt/test.txt 也行
准备后用HIVE加载语法
load data local inpath ‘/home/neil/Downloads/hivetxt’ into table hivetable;
如果是HDFS上的文件,只用将local这个单词去掉就可以了,这样他会移动文件位置(不重复放数据)
4.可以查看HIVE表内的数据
dfs -ls /user/hive/warehourse/hivetable
这个位置是默认的,就是将表名放在最后就好,如果想换位置,可以在加载数据时指
如果用select * from hivetable发现是NULL,说明创建表的时候没有指定分隔符号,比如下面是指定|为分隔符
5.可以进入到hdfs目录下查看该表对应的文件
hive> dfs -ls /user/hive/warehouse/hivetable;
Found 1 items
-rwxr-xr-x 3 neil supergroup 34 2016-02-13 20:18 /user/hive/warehouse/hivetable/test
HDFS文件导入到Hive表
1.查看hdfs系统上的文件
$hadoop fs -cat /user/neil/myfile/test.txt
输出部分如下
0|用户0|2016-11-19 14:10:17|2016-12-29 14:10:17
1|用户1|2016-11-19 14:10:17|2016-12-29 14:10:17
2|用户2|2016-11-19 14:10:17|2016-12-29 14:10:17
3|用户3|2016-11-19 14:10:17|2016-12-29 14:10:17
4|用户4|2016-11-19 14:10:17|2016-12-29 14:10:17
5|用户5|2016-11-19 14:10:17|2016-12-29 14:10:17
6|用户6|2016-11-19 14:10:17|2016-12-29 14:10:17
7|用户7|2016-11-19 14:10:17|2016-12-29 14:10:17
8|用户8|2016-11-19 14:10:17|2016-12-29 14:10:17
2.创建表
create table userinfo
(id int,
user_user string,
createtime timestamp ,
modifytime timestamp)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘|’
STORED AS TEXTFILE;
3.导入表
load data inpath ‘/user/neil/myfile/tb_class.txt’ into table userinfo;
- 如何以最快的速度了解并使用HIVE数据库
- 如何以最快的速度计算出一个二进制数中1的个数
- 以最快速度去除字符串里面的子串
- 如何利用数据库索引-操作大数据量-达到速度最快
- 速度最快的分页
- scp 最快的速度
- 速度最快的数据库---MEMSQL的安装与部署
- 如何学习的进步的速度最快了?
- Transferwise:以最快的速度最少的费用为你提供国际转账服务
- MYSQL 分享:最快速度将字符串进行分割以表的方式进行展示
- 世界上速度最快的生物
- 最快速度开机的方法
- hadoop hive安装,并使用mysql数据库
- VB6 读取二进制文件并显示(到现在为止发现的读取速度最快的方法)_
- 使用内存数据库/数据集以提高执行速度
- MemSQL初体验 - (1)传说中速度最快的关系数据库软件
- 如何寻找速度最快的源?(一篇快要消失的文章)
- 面试题:以最快的速度计算一个字节(byte)里有多少bit被置1
- dom4j下的XPATH
- CodeForces 825F Educational Round #25 F:KMP最小循环节+DP
- lintcode--搜索旋转排序数组
- 测试定速线程池
- SetCallAsFunctionHandler(call)
- 如何以最快的速度了解并使用HIVE数据库
- nyoj-325-zb的生日
- Executor, ExecutorService 和 Executors 间的不同
- linux项目:在linux下实现文件的上传与下载工作
- sublime text3 手动修改侧边栏样式
- 《Spark快速大数据分析》——读书笔记(4)
- Elasticsearch之es学习工作中遇到的坑
- 练习2-百度前端技术学院
- python的两种退出方式 os._exit() vs sys.exit()