Impala006-impala 数据处理&impala 和 HBase整合&JDBC方式访问Impala
来源:互联网 发布:耐克淘宝旗舰店正吗 编辑:程序博客网 时间:2024/04/30 14:35
一、数据文件处理
加载数据:
1、insert语句:插入数据时每条数据产生一个数据文件,不建议用此方式加载批量数据
2、load data方式:再进行批量插入时使用这种方式比较合适
3、来自中间表:此种方式使用于从一个小文件较多的大表中读取文件并写入新的表生产少量的数据文件。也可以通过此种方式进行格式转换。
空值处理:
impala将“\n”表示为NULL,在结合sqoop使用是注意做相应的空字段过滤,
也可以使用以下方式进行处理:
alter table name set tblproperties (“serialization.null.format”=“null”)
三、Impala JDBC 访问
加载数据:
1、insert语句:插入数据时每条数据产生一个数据文件,不建议用此方式加载批量数据
2、load data方式:再进行批量插入时使用这种方式比较合适
3、来自中间表:此种方式使用于从一个小文件较多的大表中读取文件并写入新的表生产少量的数据文件。也可以通过此种方式进行格式转换。
空值处理:
impala将“\n”表示为NULL,在结合sqoop使用是注意做相应的空字段过滤,
也可以使用以下方式进行处理:
alter table name set tblproperties (“serialization.null.format”=“null”)
二、Impala可以通过Hive外部表方式和HBase进行整合
步骤如下:
步骤1:创建hbase 表,向表中添加数据
create 'test_info', 'info'
put 'test_info','1','info:name','zhangsan’
put 'test_info','2','info:name','lisi'
create 'test_info', 'info'
put 'test_info','1','info:name','zhangsan’
put 'test_info','2','info:name','lisi'
步骤2:创建hive表
CREATE EXTERNAL TABLE test_info(key string,name string )
ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,info:name")
TBLPROPERTIES
("hbase.table.name" = "test_info");
CREATE EXTERNAL TABLE test_info(key string,name string )
ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,info:name")
TBLPROPERTIES
("hbase.table.name" = "test_info");
步骤3:刷新Impala表
invalidate metadata
invalidate metadata
参考文章: http://shiyanjun.cn/archives/526.html
三、Impala JDBC 访问
配置:
impala.driver=org.apache.hive.jdbc.HiveDriver
impala.url=jdbc:hive2://119.90.51.196:21050/;auth=noSasl
impala.username=
impala.password=
提示:
尽量使用PreparedStatement执行SQL语句,原因如下:
1.性能上PreparedStatement要好于Statement
2.Statement存在查询不出数据的情况
尽量使用PreparedStatement执行SQL语句,原因如下:
1.性能上PreparedStatement要好于Statement
2.Statement存在查询不出数据的情况
package impala;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;/** * * @author shenfl * */public class TestJDBC { public static void main(String[] args) throws Exception { Class.forName("org.apache.hive.jdbc.HiveDriver"); Connection conn = DriverManager.getConnection("jdbc:hive2://119.90.51.195:21050/;auth=noSasl","" ,"" ); PreparedStatement pstm = conn.prepareStatement("select count(*) from impala.bigdata limit 1"); ResultSet rs = pstm .executeQuery(); while(rs .next()){ System. out.println(rs .getString(1)); } rs.close(); pstm.close(); conn.close(); }}
0 0
- Impala006-impala 数据处理&impala 和 HBase整合&JDBC方式访问Impala
- Impala 3、Impala、Hbase整合
- Impala hive hbase 整合
- impala与hbase整合
- Impala 4、Impala JDBC
- Impala访问方式
- impala
- IMPALA
- impala
- Impala
- Impala
- Impala
- impala
- Impala
- Impala
- Impala与HBase整合实践
- CDH impala hive hbase 整合
- Impala 2、Impala Shell 和 Impala SQL
- 每天一个linux命令(33):df 命令
- 8位CRC 数据校验
- pod install速度慢 解决方案
- 一张表格让你掌握深圳无人机供应链
- android开机启动Service(小发现)
- Impala006-impala 数据处理&impala 和 HBase整合&JDBC方式访问Impala
- spring boot 起步-原型实例
- 第4周项目3单链表应用(1)
- cf#305-D. Mike and Feet- 单调栈/ (线段树上二分)
- C++ Builder 利用Rtti访问对象中的字段值
- 第七周项目(1):建立顺序环形队列算法库
- MVC,MVP 和 MVVM 的图示区别
- 能挣钱的微信JSSDK+H5混合开发
- 第六周 项目3 括号的匹配