hadoop学习笔记(HDFS的文件操作)

来源:互联网 发布:淘宝售后客服打钱 编辑:程序博客网 时间:2024/05/02 08:48

命令行方式和API方式:

列出HDFS下的文件    bin/hadoop dfs -ls   /-ls ./in

上传文件到HDFS   bin/hadoop dfs -put ../abc abc

将HDFS的文件复制到本地bin/hadoop dfs -get abc ./xyz

删除HDFS下的文档 bin/hadoop dfs -rmr abc

查看HDFS下某个文件内容bin/hadoop dfs -cat ./out/part-00000

查看HDFS基本统计信息bin/hadoop dfsadmin -report

进入和退出安全模式 bin/hadoop dfsadmin -safemode enter bin/hadoop dfsadmin -safemode leave

启动某些后台进程而不是全部进程start -all.sh stop -all.sh(stop)start -dfs.sh      (stop)start -mapred.sh 

API列表:

hadoop.apache.org/hdfs/docs/r0.22.0/api/index.html

负载均衡:当节点出现故障,或新增节点时,数据块分布可能不均匀,负载均衡可以重新平衡各个datanode上的数据块的分布。

0 0
原创粉丝点击