HDFS分布式文件系统系列---HDFS程序设计

1、HDFS访问方式

shell命令
Java API
Rest API
HDFS Fuse：实现了Fuse协议
HDFS lib hdfs ： c/c++访问接口
HDFS 其他编程语言API

使用thrift实现支持c++ 、python、php等语言

2、shell命令

1）文件操作命令bin/hadoop fs ….

将本地文件上传到HDFS：
bin/hadoop fs -copyFromLocal 本地目录 hdfs目录
删除HDFS文件、目录
bin/hadoop fs -rmr 目录路径/文件路径
创建目录
bin/hadoop fs -mkdir 目录路径

2）管理命令bin/hadoop dfsadmin …

3)管理脚本

sbin目录下

  start-all.sh  start-dfs.sh  start-yarn.sh  hadoop-daemon.sh

单独启动某个服务
hadoop-daemon.sh start namenode
hadoop-daemons.sh start datanode

4）文件管理命令bin/hadoop fsck …

5）数据均衡器 balancer

6）设置目录份额

如果目录超过设置的空间大小，写失败

7）增加、移除datanode
在不停机的情况下增加、移除节点；

3、Java API

1）相关类介绍

2）使用范例

4、HDFS 多语言API–借助thrift

thrift是facebook开源的RPC框架