sqoop2增量导入无法指定last value问题解决方法
来源:互联网 发布:优化生活环境的英文 编辑:程序博客网 时间:2024/04/26 22:22
在用sqoop 1.99.6创建任务进行增量导入时,在incremental read后需要输入check column和last value,但是再输入last value时输入任何值都会提示超出了size,size为-1。以下是这个问题的解决方法。
sqoop 1.99.6版本尚不稳定,源码存在错误,上个问题的错误原因在于a/shell/src/main/java/org/apache/sqoop/shell/utils/ConfigFiller.java中存在错误代码,一共存在两处错误
第一处为:
@@ -433,7 +433,7 @@ public final class ConfigFiller {
String opt = ConfigOptions.getOptionKey(prefix, input);
if (line.hasOption(opt)) {
String value = line.getOptionValue(ConfigOptions.getOptionKey(prefix, input));
- if(value.length() > input.getMaxLength()) {
+ if((input.getMaxLength() >= 0) && (value.length() > input.getMaxLength())) {
errorMessage(input, "Size of input exceeds allowance for this input"
+ " field. Maximal allowed size is " + input.getMaxLength());
}
第二处为:
@@ -1039,7 +1039,7 @@ public final class ConfigFiller {
input.setValue(userTyped);
// Check that it did not exceeds maximal allowance for given input
- if(userTyped.length() > input.getMaxLength()) {
+ if((input.getMaxLength() >= 0) && (userTyped.length() > input.getMaxLength())) {
errorMessage("Size of input exceeds allowance for this input"
+ " field. Maximal allowed size is " + input.getMaxLength());
return fillInputStringWithBundle(input, reader, bundle);
修改后把sqoop-shell-1.99.6.jar中的ConfigFiller.class替换成修改后的.class,即可进行正常的增量导入。
参考:https://git-wip-us.apache.org/repos/asf?p=sqoop.git;a=commitdiff;h=c54f92854746cb16995d11b3dcf9c395839af358;hp=ecdb8167b48097f7aee7a439e38f2792d3cab2b2
1 0
- sqoop2增量导入无法指定last value问题解决方法
- Parse无法指定推送问题解决
- BAPI调用 - 批量创建物料BAPI:BAPI_MATERIAL_SAVEDATA 毛重无法导入以及指定单位报错等问题解决
- Sqoop2 (1.99.7)安装部署及问题解决
- Sqoop2中Connectors开发方法
- java中导入了包却无法调用包中方法问题解决
- Sqoop2 MySQL与HDFS导入导出
- Myeclipse导入eclipse工程无法使用问题解决
- orcale无法登录问题解决方法
- 虚拟机无法上网问题解决方法
- sqoop增量数据导入hive表的方法
- Wireshark 找不到指定模块问题解决方法
- XCODE5 导入项目出现问题解决方法
- svn导入项目空心J问题解决方法
- mysql导入中文数据方法及问题解决
- solr增量导入数据
- 增量导出/导入
- oracle 增量导出/导入
- 日经春秋 20151204
- Day 3: Flask —— 使用Python和OpenShift进行即时Web开发
- RecyclerView 介绍 02 – 重要概念
- 某些个框架的webservice相关那些事
- Android webView 缓存 Cache + HTML5离线功能 解决
- sqoop2增量导入无法指定last value问题解决方法
- 月薪3万的程序员都避开了哪些坑
- CentOS更换163的yum源
- 开始我的android学习之路
- 2015.12.4
- web.xml 中的listener、 filter、servlet 加载顺序及其详解
- 设计并实现同时支持多种视频格式的流媒体点播系统
- Linux中设置服务自启动的三种方式
- Day 4:PredictionIO——如何创建一个博客推荐器