hadoop -webhdfs api 方法
来源:互联网 发布:行政区域数据库 编辑:程序博客网 时间:2024/05/01 06:17
1.配置
namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true,否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令,因为这些信息都是由namenode来保存的。
在namenode和一台datanode中向/etc/hadoop/conf/hdfs-site.xml中添加属性:- <property>
- <name>dfs.webhdfs.enabled</name>
- <value>true</value>
- </property>
2.使用说明
访问namenode的hdfs使用50070端口,访问datanode的webhdfs使用50075端口。访问文件、文件夹信息使用namenode的IP和50070端口,访问文件内容或者进行打开、上传、修改、下载等操作使用datanode的IP和50075端口。要想不区分端口,直接使用namenode的IP和端口进行所有的webhdfs操作,就需要在所有的datanode上都设置hefs-site.xml中的dfs.webhdfs.enabled为true。
3.curl操作webhdfs
创建并写一个文件
curl -i -X PUT "http://localhost:50070/webhdfs/v1/<PATH>?op=CREATE
[&overwrite=<true|false>][&blocksize=<LONG>][&replication=<SHORT>]
[&permission=<OCTAL>][&buffersize=<INT>]“
curl -i -X PUT -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?
op=CREATE...“
注意这个地方填入的是DataNode的信息
在一个文件内追加内容
curl -i -X POST "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=APPEND[&buffersize=<INT>]”
curl -i -X POST -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?
op=APPEND...“
注意该条命令获得的是DataNode的信息。
打开并读取一个文件
curl -i -L "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN
[&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]“
创建一个目录
curl -i -X PUT "http://<HOST>:<PORT>/<PATH>?op=MKDIRS[&permission=<OCTAL>]“
重名命文件、文件夹
curl -i -X PUT "<HOST>:<PORT>/webhdfs/v1/<PATH>?op=RENAME&destination=<PATH>"
删除文件/文件夹
curl -i -X DELETE "http://<host>:<port>/webhdfs/v1/<path>?op=DELETE [&recursive=<true|false>]“
文件/ 文件夹的状态信息
curl -i “http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS“
目录列表
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=LISTSTATUS”
获取目录的上下文环境汇总信息
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETCONTENTSUMMARY"
获取Check Sum File
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILECHECKSUM”
获取Home 目录
curl -i "http://<HOST>:<PORT>/webhdfs/v1/?op=GETHOMEDIRECTORY”
设置权限
curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETPERMISSION [&permission=<OCTAL>]“
设置所有者
curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETOWNER [&owner=<USER>][&group=<GROUP>]"
设置备份
curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETREPLICATION [&replication=<SHORT>]“
- hadoop -webhdfs api 方法
- hadoop webhdfs rest api
- Hadoop REST API -- WebHDFS(上)
- Hadoop REST API -- WebHDFS(下)
- Hadoop web编程--REST API WebHDFS
- html调用hadoop WebHDFS REST API
- Hadoop 第六课 WebHDFS REST API
- WebHDFS REST API
- WebHDFS REST API
- Hadoop webHDFS设置和使用说明
- Hadoop webHDFS设置和使用说明
- Hadoop WEBHDFS简单配置,使用
- Hadoop webHDFS设置和使用说明
- WebHdfs API使用和开放WebHdfs使用后权限控制
- hadoop webhdfs 服务开启及使用
- ubuntu使用PHP访问Hadoop,利用WebHDFS
- 利用CURL命令调用WebHDFS REST API与Kerberos机制
- Hadoop常用的API方法(六)
- 公钥,私钥和数字签名这样最好理解
- 李炎恢JQUERY笔记\第9章 事件对象
- 李炎恢JQUERY\第10章 高级事件
- phpredis中文手册——《redis中文手册》 php版
- 站点地图与面包屑导航
- hadoop -webhdfs api 方法
- php中设置set_time_limit不起作用的解决方法
- c++ cin.get()的用法小结
- Robot FrameWork安装以及一个Demo
- 数字证书原理
- 图像处理和图像识别中常用的OpenCV函数
- 设置UIButton的文字显示位置、字体的大小、字体的颜色 .
- top
- 数据公钥加密和认证中的私钥公钥