hadoop集群远程拷贝数据

来源:互联网 发布:互联网数据分析报告 编辑:程序博客网 时间:2024/06/14 16:21
 命令如下:
 hadoop distcp -Dmapred.job.queue.name=root.default -overwrite ftp://root:root@146.240.10.237/NFS/SFILSVR/SAPPNFS_20151231/CUNFS/2015-12-30/88023930 hdfs://nameservice1/user/pmtlas/TLAS/settlement_file/2015-12-30/  
hadoop distcp -Dmapred.job.queue.name=root.default -启动MR拷贝数据,
overwrite-表示覆盖数据
ftp://root:root@146.240.10.237/NFS/SFILSVR/SAPPNFS_20151231/CUNFS/2015-12-30/88023930-源路径,这里是FTP,也可是另外一台集群HDFS路径
hdfs://nameservice1/user/pmtlas/TLAS/settlement_file/2015-12-30/  -目标hdfs路径
0 0
原创粉丝点击