远程调试sqoop代码

来源:互联网 发布:c语言求逻辑表达式格式 编辑:程序博客网 时间:2024/05/28 04:54

由于sqoop运行依赖hadoop等组件,且会设置很多环境变量。这就导致想要在本地测试其功能非常繁琐,幸好可以借助java的远程调试机制来做。可以先在测试linux机器上面安装好hadoop/hbase/zookeeper等,然后本地windows环境用eclipse导入同样的sqoop代码。

1、设置$SQOOP_HOME/conf(根据自身环境情况修改):

export HADOOP_COMMON_HOME=/home/cdh/hadoop-2.3.0-cdh5.1.0export HBASE_HOME=/home/cdh/hbase-0.98.1-cdh5.1.0

2、修改$HADOOP_COMMON_HOME/bin/hadoop:



3、配置eclipse:


ip填写sqoop安装机器的ip,端口为hadoop_debug中设置的9999


4、运行导入命令,然后会sqoop安装服务器端会在9999端口监听着,等待eclipse远程调试的时候连上去,一旦eclipse连上去, 便可以停在eclipse代码打的断点处开始调试工作



    由于sqoop会依赖mapreduce运行导入命令, 而那部分执行逻辑会被提交给hadoop运行,所以没法跟踪调试,如果想要跟踪那部分逻辑需要开启mapreduce的远程调试功能。


0 0
原创粉丝点击