sqoop 使用指定条件导入数据

来源:互联网 发布:瞎子龙年限定皮肤淘宝 编辑:程序博客网 时间:2024/05/07 05:45

在测试sqoop语句的时候,一定要限制记录数量,否则就像我刚才,等了1个多小时,才看到测试结果。

sqoop-import --options-file media_options.txt --table my_table --where "ID = 2" --target-dir /user/jenkins/bigdata/import/20140607 -m 1 --fields-terminated-by '\001' --lines-terminated-by '\n'

导入后,可以用hdfs dfs -get命令获取文件到本地目录

然后用bunzip2 命令解压,

最后用emacs的hexl-mode查看文件的16进制格式,检查分割符是否正确。

0 0
原创粉丝点击