HDFS文件系统的基本操作 Hadoop权威指南

Hadoop权威指南

文件系统的基本操作

参照书中的命令行，有些地方出现报错，然后自己按照书中的思路，本地创建了文件，并且复制到HDFS中，再从HDFS下载到本地为新文件，比较两者是否一致。

1.1命令行接口

1.1.1 基本操作帮助

hadoop fs -help

1.1.2 在HDFS上创建如下目录

命令 ：

hadoop fs -mkdir -p  /usr/local/hadoop/input1

1.1.3 将文件从xujing01复制到HDFS /usr/local/hadoop/input1/ 目录

命令：

hadoop fs -put /root/test.txt /usr/local/hadoop/input1/

1.1.4 查看HDFS目录文件夹已有内容

命令 ：

hadoop fs -ls -R /

3是指文件备份数，因为集群数目是3个，故整个文件系统范围内设置的默认副本数为3
78代表文件大小

超级用户是namenode进程的标识
这边xx01和xx03看到的内容一样

1.1.5 将文件从HDFS复制到本地

命令：
hadoop fs -copyToLocal /usr/local/hadoop/input1/test.txt test.copy.txt

1.1.6 查看文件内容

内容一致

参照书中操作出现的问题

• 1、HDFS不存在该目录

hadoop fs -copyFormLocal /tmp/quangle.txt hdfs://xx01:9000/tmp/quangle2.txt(是一行)

没有/tmp/目录
解决，先自己创建，用mkdir –p指令 参照1.1.2