通过webhdfs put文件到hdfs
来源:互联网 发布:淘宝店铺运营包含哪些 编辑:程序博客网 时间:2024/06/05 09:17
通过rest API的webhdfs走的http,不需要安装hadoop客户端了。
put代码如下:
#!/bin/sh###################. /etc/profile. ~/.bash_profile##################echo =====================================`date`===============================================SCRIPT_NAME=$(readlink -f "$0")dir=`dirname ${SCRIPT_NAME}`cd $dirlocalFile=$1echo $localFilehdfsFile=$2echo $hdfsFilenamenode=nn.tv.hadoop.sohuno.comurl=`curl -i -X PUT "http://$namenode:50070/webhdfs/v1${hdfsFile}?op=CREATE&user.name=rc&overwrite=true&replication=3" | grep Location | awk -F ' ' '{print $2}'`curl -i -X PUT -T $localFile "$url"if [[ $? -eq 0 ]];then exit 100else exit 1fi
0 0
- 通过webhdfs put文件到hdfs
- 配置HDFS HttpFS和WebHDFS
- 通过管道将wget文件落地到hdfs
- HDFS中的文件写入到Mysql,通过DBConfiguration,DBOutputFormat
- 利用Wget 直接将数据Put到HDFS 上
- logstash使用webhdfs插件指定输出字段存储数据到hdfs时间分层(还能保留原来数据)
- logstash使用webhdfs插件指定输出字段存储数据到hdfs时间分层(还能保留原来数据)
- 通过管道向 hadoop put 文件
- 通过管道向 hadoop put 文件
- 上传文件到HDFS
- 上传文件到HDFS
- hadoop put内部调用,hdfs写文件流程
- spark 通过 RDD 从HDFS文件加载JSON文件到sql表
- 关于通过Eclipse上传文件到HDFS文件为空的问题
- HDFS之上传文件到hdfs中
- servlet上传文件到hdfs
- 上传文件到HDFS方式
- hdfs下载文件到本地
- flume+kafka+storm整合文件
- webview onReceivedError 接收不到404
- 【存储过程】在java语言中调用存储函数
- 关于时间戳和日期,时间的互换
- JVM线程内存区域划分
- 通过webhdfs put文件到hdfs
- iOS 之 GCD(1)
- 测试人必备:国内外最好用的6款Bug跟踪管理系统
- hdu 3874(树状数组+离线算法)
- C++内存对象分配问题
- NAT的种类
- [从头学数学] 第145节 一次函数 小结与复习题
- windows下安装rabbitmq的步骤详解
- 大型网站架构学习笔记(转自http://www.cnblogs.com/xrq730/p/4954152.html)