hadoop命令及hive数据库操作语句的简单使用

来源：互联网发布：软件项目风险控制措施编辑：程序博客网时间：2024/05/22 21:20

一、hadoop
1.Hadoop查询文件属性详细信息:du -lh

2.如果没有配置hadoop环境变量, 则应到hadoop的bin目录,执行hadoop命令,如:
第一步: cd /home/hms/hadoop/hadoop-2.6.0/bin ;
第二步: ./hadoop fs -ls /userrepot
注: “./”指本地

3.简单hadoop命令
①查询hadoop文件系统中的/test路径下文件信息: hadoop fs -ls /test
②查看文件: hadoop fs -cat /test/text.txt

4.reduce中对于List的排序, List里的对象不能是text类型, 否则可能会一直是第一个数据.这里可以把对象值toString()一下,变成String类型即可.

5.reduce中获取map集合的value值时,不要将数据以byte数组存储, 否则下一次的value数据不会重新创建值空间, 而是会在上次的数据后面进行追加, 这样取出来的数据就是有问题的.

二、hive数据库操作语句
删除表
DROP TABLE IF EXISTS table_name;
复制表
CREATE TABLE empty_table_name LIKE table_name;
创建表
create table bigdata_analyze_seq_20151012(id int, name string, age int, tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ STORED AS TEXTFILE;
插入数据
load data inpath ‘/home/analyze/seq.txt’ into table bigdata_analyze_seq_20151012

0 0