Hive数据导入预处理-分隔符处理
来源:互联网 发布:新东方游学数据 编辑:程序博客网 时间:2024/05/29 11:08
偶尔会遇到需要把本地数据导入到hive的情况,我们知道hive字段之间的默认分隔符是\x01,而导入的数据字段之间经常是使用制表符分隔。为了在数据导入到hive时能够正常识别,我们需要先对数据进行处理。
想到的最常用的工具自然是sed命令,使用sed替换命令可以简单的把文本中的制表符都替换成我们想要的文本。
那么问题来了,\x01是一个特殊字符,直接在sed命令中输入显然是行不通的。通过网上查找资料,知道了\x01这个字符在linux中显示为^A,那么怎么在sed命令中输入这个字符呢?
操作很简单,首先按组合键:ctrl+v,然后再输入对应的字符的组合键,例如要输入^A的话再按:ctrl+A就行了。所以最终的指令为:
sed -i 's/\t/^A/g' input
阅读全文
0 0
- Hive数据导入预处理-分隔符处理
- hive如何处理多分隔符数据
- hive 导出数据分隔符
- hive的数据导入与数据导出:(本地,云hdfs,hbase),列分隔符的设置,以及hdfs上传给pig如何处理
- Sqoop导入hive分隔符问题
- Sqoop导入hive分隔符问题
- Hive学习笔记-分隔符处理
- Hive学习笔记-分隔符处理
- hive 分隔符 ^A
- hive数据导出至本地文件,如何指定分隔符
- DB2使用特殊分隔符处理数据
- Greenplum或DeepGreen中使用外部表访问Hive数据(分隔符是Hive表默认列分隔符)
- sqlldr 导入用分隔符分开的数据的例子
- R:从带分隔符的文本文件导入数据
- HIVE迁移的点点滴滴(四)--HIVE数据导出及自定义分隔符
- 数据预处理 01处理
- hive数据导入
- Hive 导入导出数据
- EasyUi DataGrid 获取选中行的checkbox
- NPOI打开excel表格,不会受到版本的原因
- Juniper SRX----------远程管理实验
- 题目1462:两船载物问题
- IT生涯的第一篇
- Hive数据导入预处理-分隔符处理
- 比特币开发者指南--操作模式
- android sensor 框架分析---客户端和服务端的连接
- vi编辑器常用命令
- Arduino 串口读写 SD 卡模块
- 110. Balanced Binary Tree
- servlet基础知识3
- springmvc-学习总结-全局异常处理
- 第三步,下载刷机软件和刷机包。 1.miflash 小米官方刷机软件 http://bigota.d.miui.com/tools/MiPhone20151028.exe 2.下载刷机包。