使用Sqoop将数据从Hive导入MySQL可能遇到的问题
来源:互联网 发布:国家药监局数据查询 编辑:程序博客网 时间:2024/06/04 19:59
1.权限问题
|--问题描述
Java.io.IOException: com.mysql.jdbc.CommunicationsException: Communications link failure due to underlying exception:
Caused by: com.mysql.jdbc.CommunicationsException: Communications link failure due to underlying exception:
|--解决方法
解决MySQL的授权问题。
类似如下:
grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
*.*代表所有数据库的所有表。identified by 'root' root是密码。
可以授予的权限有:select insert update delete create drop index alter grant references reload shutdown process file...14个权限。
不要忘记flush privileges;
2.不能导出数据
|--问题描述
Caused by: java.util.NoSuchElementException
|--解决方法
导出数据到MySQL,当然数据库表要先存在,否则会报错,此错误的原因为sqoop解析文件的字段与MySql数据库的表的字段对应不上造成的。因此需要在执行的时候给sqoop增加参数,告诉sqoop文件的分隔符,使它能够正确的解析文件字段。hive默认的字段分隔符为'\001',sqoop的默认分隔符是 ','。
|--问题描述
|--解决方法
指定null字段的填充符
--input-null-string:如果没有这个选项,那么在字符串类型列中,字符串"null"会被转换成空字符串,所以最好写上这个,指定为'\\N'
--input-null-non-string:如果没有这个选项,那么在非字符串类型的列中,空串和"null"都会被看作是null
|--问题描述
java.io.IOException: Can’t export data, please check task tracker logs
|--解决方法
3.字段格式问题
|--问题描述
|--解决方法
- 使用Sqoop将数据从Hive导入MySQL可能遇到的问题
- Hive数据仓库-Sqoop将数据从Mysql导入Hive中
- sqoop从mysql导入hdfs数据过程遇到的问题
- Sqoop将数据从Mysql导入Hive中
- 使用sqoop将mysql中数据导入到hive中
- 使用Sqoop将Hive表数据导入到mysql
- 使用sqoop将hive数据导入mysql实例
- 使用Sqoop从MySQL导入数据到Hive和HBase
- sqoop将Mysql数据导入Hive中
- 运用sqoop将数据从oracle导入到hive中的注意的问题
- SQOOP从MySQL导入数据到Hive
- sqoop 从 hive 导到mysql遇到的问题
- sqoop 从 hive 导到mysql遇到的问题
- sqoop 从 hive 导到mysql遇到的问题
- sqoop 从mysql导入hive的字段名称问题
- sqoop从mysql迁移数据到hive中遇到的问题
- sqoop从mysql中导入数据到mysql遇到的问题
- 使用sqoop导入导出mysql、hdfs、hive出现的问题
- 高级IO(文件的读写)——并发式IO的解决方案(解决多路阻塞式IO的方案)
- 反射、代理学习笔记
- Unity3D Attributes用法小结(一)
- Python :滑动窗口的最大值
- Latex 论文elsevier,手把手如何用Latex写论文
- 使用Sqoop将数据从Hive导入MySQL可能遇到的问题
- 4298. 【NOIP2015模拟11.2晚】我的天
- 尺寸相关属性
- 【Java核心计算 基础知识(第9版)】第3章 Java的基本程序设计结构
- 收集android上开源的酷炫的交互动画和视觉效果:Interactive-animation
- java新手 if else作业题
- 【51nod 1028】 大数乘法 V2 【FFT/NTT】
- JAVA特性:封装
- K