Hadoop中的一些基本操作

转自：http://my.oschina.net/kevin701/blog/228684

这个如果用在公司里部署的 hadoop 环境 把 -fs 改成 -dfs 

  先粗略说一下“hadoop fs”和“hadoop dfs”的区别：fs是各比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs不可用。


1、列出HDFS文件：

hadoop fs –ls

    a) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容

    b) 如果要列出某个文件夹中的内容，则-ls后面跟该文件夹的路径，例如列出input中的内容：

hadoop fs –ls input


2、在HDFS中创建文件夹：

hadoop fs –mkdir 文件夹的名字

例如：
hadoop fs –mkdir input
3、删除HDFS中的文件或文件夹

hadoop fs –rmr  文件夹名或者文件名

4、上传文件到HDFS：

hadoop fs –put ~/file test


    将本机中的file文件上传到HDFS上并重命名为test。


    如果要上传到某个文件夹中，则将test改为文件夹的地址，此时，上传的文件名称不会改变，例如将本地文件


夹test中的文件test1.txt，test2.txt，test3.txt上传到HDFS中的input中：

hadoop fs –put ~/test/test*.txt input


5、查看HDFS下的某个文件：

 hadoop fs –cat 文件路径


    例如查看input中的test文件的内容：


hadoop fs –cat input/test


6、将HDFS中的文件复制到本地系统中：


hadoop fs –get HDFS中的文件名本地系统中的文件名 本地存放地址


    例如：将HDFS中的output文件复制到本地系统Documents文件夹中


hadoop fs –get output /home/kevin/Documents/
7、进入/退出安全模式


    有时，在hadoop启动时不能对文件系统进行如创建文件，删除文件之类的操作，此时，文件系统所处的状 态叫做安全模式，用途大家可以到网上搜一搜，笔者不在这里赘述（由于笔者属于初学者，HDFS上的东西还不多，节点也不多，所以笔者一般开启Hadoop后，不管有没有在安全模式，先输退出安全模式的命令）。


hadoop dfsadmin –safemode enter
hadoop dfsadmin –safemode leave