Hive读取外表数据时跳过文件行首和行尾
来源:互联网 发布:windows live邮箱登陆 编辑:程序博客网 时间:2024/05/17 09:33
作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处
有时候用hive读取外表数据时,比如csv这种类型的,需要跳过行首或者行尾一些和数据无关的或者自动生成的多余信息,这里可以用属性设置来实现,快速mark下,建表的时候设置如下
Create external table testtable (name string, message string) row format delimited fields terminated by '\t' lines terminated by '\n' location '/user/file.csv' tblproperties ("skip.header.line.count"="1", "skip.footer.line.count"="2");
对,就是上面sql中tblproperties的2个属性
“skip.heaer.line.count” 跳过文件行首多少行
“skip.footer.line.count”跳过文件行尾多少行
注意,这个属性的功能是hive0.13以后的都可以支持
参考资料:
https://issues.apache.org/jira/browse/HIVE-5795
阅读全文
0 0
- Hive读取外表数据时跳过文件行首和行尾
- hive 加载数据跳过行首和行尾
- hive建外表时默认分隔符错误导致行数增加和数据错误
- Hive内表和外表的区别
- Hive内表和外表的区别
- Hive - 内表和外表的区别
- Hive - 内表和外表的区别
- Hive内表和外表的区别
- Java从文件中跳过n个字节读取数据
- 删除行首和行尾的空格符
- 在vi中如何快速将文件移到行首和行尾?
- hive 创建外表
- hive 创建外表
- hive建立外表
- hive 创建外表操作
- Hive的内表和外表的区别
- 行首行尾字符^$
- linux编辑Authority文件时如何调到行尾或行首
- kafka性能参数和压力测试揭秘
- Scala集合和Java集合对应转换关系
- SVM-支持向量机学习(2):线性可分SVM的对偶型
- Spark读写Hbase的二种方式对比
- 解读vue生成的文件目录结构
- Hive读取外表数据时跳过文件行首和行尾
- Spark物理图的执行
- ABP从入门到精通(5):.扩展国际化语言资源
- 深入浅出数据仓库中SQL性能优化之Hive篇
- 用jquery删除table列表中<u>标签
- lamada之类库
- GitHub更新自己Fork的项目
- 汇编语言——访问条件码
- Kafka connect快速构建数据ETL通道