sqoop1.4.4命令
来源:互联网 发布:淘宝ebay代购流程 编辑:程序博客网 时间:2024/04/30 15:55
1、列出mysql数据库中的所有数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306/ -username dyh -password 000000
2、连接mysql并列出数据库中的表
sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username dyh --password 000000
3、将关系型数据的表结构复制到hive中
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table users --username dyh
--password 000000 --hive-table users --fields-terminated-by "\0001" --lines-terminated-by "\n";
参数说明:
--fields-terminated-by "\0001" 是设置每列之间的分隔符,"\0001"是ASCII码中的1,它也是hive的默认行内分隔符, 而sqoop的默认行内分隔符为","
--lines-terminated-by "\n" 设置的是每行之间的分隔符,此处为换行符,也是默认的分隔符;
注意:只是复制表的结构,表中的内容没有复制
4、将数据从关系数据库导入文件到hive表中
sqoop import --connect jdbc:mysql://localhost:3306/test --username dyh --password 000000
--table users --hive-import --hive-table users -m 2 --fields-terminated-by "\0001";
参数说明:
-m 2 表示由两个map作业执行;
--fields-terminated-by "\0001" 需同创建hive表时保持一致;
5、将hive中的表数据导入到mysql数据库表中
sqoop export --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000
--table users --export-dir /user/hive/warehouse/users/part-m-00000
--input-fields-terminated-by '\0001'
注意:
1、在进行导入之前,mysql中的表userst必须已经提起创建好了。
2、jdbc:mysql://192.168.20.118:3306/test中的IP地址改成localhost会报异常,具体见本人上一篇帖子
6、将数据从关系数据库导入文件到hive表中,--query 语句使用
sqoop import --append --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000 --query "select id,age,name from userinfos where \$CONDITIONS" -m 1 --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by ",";
7、将数据从关系数据库导入文件到hive表中,--columns --where 语句使用
sqoop import --append --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000 --table userinfos --columns "id,age,name" --where "id > 3 and (age = 88 or age = 80)" -m 1 --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by ",";
注意:--target-dir /user/hive/warehouse/userinfos2 可以用 --hive-import --hive-table userinfos2 进行替换
- sqoop1.4.4命令
- sqoop1 命令说明
- sqoop1.4.4 for mysql
- sqoop1.4.6命令使用(一)
- CentOS下sqoop1.4.4的安装
- CentOS下sqoop1.4.4的安装
- 【甘道夫】Sqoop1.4.4原生增量导入特性探秘
- Sqoop1.4.4在Hadoop2.2.0集群上的安装
- Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入
- Sqoop1使用手册
- Sqoop1 安装
- sqoop1安装在hadoop2.6.0上不能使用import命令的问题
- sqoop1.4.4导出mysql数据到hadoop1.2.1集群出现的问题
- 解决sqoop1.4.4无法导入oracle的blob字段到hbase的问题
- 使用Sqoop1.4.4将MySQL数据库表中数据导入到HDFS中
- Sqoop1.4.4使用SQL语句形式将MySQL数据库表中数据导入到HDFS中
- Sqoop1.4.4使用增量导入模式将MySQL数据库中数据导入到HDFS中
- Sqoop1.4.4将文件数据集从HDFS中导出到MySQL数据库表中
- 未处理的异常: 0xC0000005: 读取位置 0x00000000 时发生访问冲突
- myeclipse设置代码模板Code Templates
- VC++获得当前系统时间的几种方案
- AOJ-AHU-OJ-145 流水线作业调度问题
- 一.1
- sqoop1.4.4命令
- hashmap中equals() 和hashcode()
- 将接近传感器和环境光传感器封装在一起的优点
- Hadoop 的 TotalOrderPartitioner<转>
- MFC中CTreeCtrl右击选中节点并弹出右击菜单
- Android命令行工具logcat详细用法
- 【项目1 - 用枚举表示对称方式】
- 我去
- RT5370_USB无线网卡驱动移植