远程调试sqoop代码
来源:互联网 发布:c语言求逻辑表达式格式 编辑:程序博客网 时间:2024/05/28 04:54
由于sqoop运行依赖hadoop等组件,且会设置很多环境变量。这就导致想要在本地测试其功能非常繁琐,幸好可以借助java的远程调试机制来做。可以先在测试linux机器上面安装好hadoop/hbase/zookeeper等,然后本地windows环境用eclipse导入同样的sqoop代码。
1、设置$SQOOP_HOME/conf(根据自身环境情况修改):
export HADOOP_COMMON_HOME=/home/cdh/hadoop-2.3.0-cdh5.1.0export HBASE_HOME=/home/cdh/hbase-0.98.1-cdh5.1.0
2、修改$HADOOP_COMMON_HOME/bin/hadoop:
3、配置eclipse:
ip填写sqoop安装机器的ip,端口为hadoop_debug中设置的9999
4、运行导入命令,然后会sqoop安装服务器端会在9999端口监听着,等待eclipse远程调试的时候连上去,一旦eclipse连上去, 便可以停在eclipse代码打的断点处开始调试工作
由于sqoop会依赖mapreduce运行导入命令, 而那部分执行逻辑会被提交给hadoop运行,所以没法跟踪调试,如果想要跟踪那部分逻辑需要开启mapreduce的远程调试功能。
0 0
- 远程调试sqoop代码
- gdbserver远程调试代码
- 远程调试代码
- 远程调试ranger代码
- 如何远程调试Hadoop代码
- 如何远程调试Hadoop代码
- 如何远程调试Hadoop代码
- MyEclipse8.5远程调试代码
- eclipse 远程服务器端代码调试
- eclipse 远程调试hadoop代码
- eclipse执行远程调试代码
- Eclipse 远程调试服务器代码
- pycharm 远程调试openstack 代码
- Weblogic 远程调试服务器代码
- eclipse 远程服务器端代码调试
- eclipse 远程服务器端代码调试
- Spark代码Eclipse远程调试
- eclipse 远程调试服务器代码
- 冒泡排序
- ORA-00600 [504]
- poj 2299 Ultra-QuickSort(求逆序对)&& poj 1804
- UCHome全面大解析【二】----基本体系结构
- 了解操作系统资源
- 远程调试sqoop代码
- 链路层原始套接字编程-总结
- Android启动预先加载图片
- Android开发全程记录(十四)——Android显示gif动画的方法
- 银行业务调度系统
- BigDecimal类的加减乘除
- 越来越多的理工男与宅男在赚钱是个好现象
- require方法接受以下几种参数的传递:
- a标签的href