通过webhdfs put文件到hdfs

来源:互联网 发布:淘宝店铺运营包含哪些 编辑:程序博客网 时间:2024/06/05 09:17

通过rest API的webhdfs走的http,不需要安装hadoop客户端了。

put代码如下:

#!/bin/sh###################. /etc/profile. ~/.bash_profile##################echo =====================================`date`===============================================SCRIPT_NAME=$(readlink -f "$0")dir=`dirname ${SCRIPT_NAME}`cd $dirlocalFile=$1echo $localFilehdfsFile=$2echo $hdfsFilenamenode=nn.tv.hadoop.sohuno.comurl=`curl -i -X PUT "http://$namenode:50070/webhdfs/v1${hdfsFile}?op=CREATE&user.name=rc&overwrite=true&replication=3" | grep Location | awk -F ' ' '{print $2}'`curl -i -X PUT -T $localFile "$url"if [[ $? -eq 0 ]];then  exit 100else  exit 1fi



0 0
原创粉丝点击