sqoop远程debug讲解
来源:互联网 发布:黄伟文十大经典知乎 编辑:程序博客网 时间:2024/05/23 12:16
由于sqoop运行依赖Hadoop等组件,且会设置很多环境变量。这就导致想要在本地测试其功能非常繁琐,幸好可以借助Java的远程调试机制来做。可以先在测试Linux机器上面安装好hadoop/Hbase/zookeeper等,然后本地windows环境用eclipse导入同样的sqoop代码。
搭建sqoop的eclipse调试环境
下载sqoop的tar包解压,cd到sqoop根目录执行“ant eclipse”构建eclipse ANT工程,ant脚本就可以给我们生成eclipse的工程文件,我们只需要在eclipse中导入即可。
Sqoop服务器端设置:
打开bin\sqoop,最后一行,发现:exec${HADOOP_HOME}/bin/hadoop com.cloudera.sqoop.Sqoop "$@",说明执行的hadoop脚本,要想进行远程调试,我们需要在hadoop脚本中调试参数,在部署了sqoop的机器上,修改hadoop 的脚本,注意是要修改hadoop的脚本,把远程调试打开
在bin/hadoop下新增一行HADOOP_DEBUG="-Xdebug-Xrunjdwp:transport=dt_socket,address=8214,server=y,suspend=y"(以这个准,图文不匹配)。这里的8214就是要远程连接的端口,要远程连接的IP就是sqoop这台机器的IP
然后把这个hadoop_debug 加入到最后一行 exec "$JAVA"$JAVA_HEAP_MAX $HADOOP_OPTS $CLASS"$@"
在eclipse配置远程调试:在关键代码上增加一个断点
这样配置好了之后,就可以运行sqoop 的命令了。只要一运行sqoop的命令,就会出现监听事件,8214端口就会处于监听状态。eclipse里在远程里进行“debug”,就可以远程debug了
- sqoop远程debug讲解
- eclipse远程debug sqoop
- Sqoop使用实例讲解
- Sqoop使用实例讲解
- 远程调试sqoop代码
- 远程debug
- 远程DEBUG
- 远程Debug
- 远程Debug
- 远程debug
- 远程Debug
- 远程debug
- 远程Debug
- 远程debug
- tomcat远程debug设置
- java远程debug
- 远程服务器debug调试
- eclipse debug远程调试
- BZOJ 3668, 起床困难综合症
- PHP fsockopen 异步调用接口在nginx上偶尔实效的情况
- POJ 2226 Muddy Fields 笔记
- 1217
- Android移动端性能测试
- sqoop远程debug讲解
- 对话框或弹出自定义样式的3种方法
- canvas画布之》》》》》》打飞机游戏
- BotZone的Pacman2
- frameset 使用
- printf 函数的实现 *
- all about mac tool install
- Matlab 数值计算小示例。主要为牛顿迭代法、LU分解法、拉格朗日插值、牛顿插值法
- 【第一篇】Naza-lite入门需要知道的一些常识