Hadoop_HDFS_Shell操作

一.hadoop 命令

Shell命令

Hadoop包括一系列的类shell的命令，可直接和HDFS以及其他Hadoop支持的文件系统进行交互。bin/hadoop fs -help 命令列出所有Hadoop Shell支持的命令。而 bin/hadoop fs -help command-name 命令能显示关于某个命令的详细信息。这些命令支持大多数普通文件系统的操作，比如复制文件、改变文件权限等。它还支持一些HDFS特有的操作，比如改变文件副本数目。

查看某个命令下某些子命令的使用方法

二.Hadoop fs命令相关操作

命令都要在这个目录下才能执行/home/gaojunyu/app/hadoop-2.6.0

1.上传文件到HDFS

用户根目下的文件~/app/jdk-8u65-linux-x64.tar.gz 上传到HDFS的根目录/

[gaojunyu@gaojunyu hadoop-2.6.0]$ bin/hadoop fs -put ~/app/jdk-8u65-linux-x64.tar.gz /

core-site.xml文件上传到HDFS的根目录

[gaojunyu@gaojunyu hadoop-2.6.0]$ bin/hadoop fs -put ~/core-site.xml /

bin/hadoopfs -copyFromLocal ~/jdk-8u65-linux-x64.tar.gz /

-copyFromLocal命令和put作用相同，都是上传

2.浏览HDFS

浏览HDFS文件系统某个目录内容

[gaojunyu@gaojunyu hadoop-2.6.0]$ bin/hadoop fs -ls /

3.创建目录

bin/hadoopfs -mkdir /test  --在根目录下创建test子目录

bin/hadoopfs -mkdir -p /test/hadoop/hbase  --一次性创建多级目录

4.下载

从HDFS下载文件到当前系统

[gaojunyu@gaojunyu hadoop-2.6.0]$ bin/hadoop fs -get /jdk-8u65-linux-x64.tar.gz ~/Desktop

下载jdk-8u65-linux-x64.tar.gz到用户目录的Desktop目录下

bin/hadoopfs -copyToLocal /jdk-8u65-linux-x64.tar.gz ~/Desktop

-copyToLocal和get作用一样

网页查看一下

子目录查看

5删除

     删除目录 bin/hadoopfs -rmdir /test  --删除非空目录

    删除文件 bin/hadoopfs-rm /core-site.xml --删除文件

递归删除bin/hadoopfs -rm-r /core-site.xml  --删除文件

6查看文件的内容

      bin/hadoop fs -cat /core-site.xml  --删除非空目录

 

sbin/start-all.sh该命令会把整个集群进行启动，但是如果有一个节点的某个进程挂了。一个NameNode进程挂了，一个DataNode进行挂了

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

为了方便操作，不必须进入路径输入bin/hadoop

配置hadoop命令

1. 修改etc/profile文件

在文件末尾加上

HADOOP_HOME=/home/gaojunyu/app/hadoop-2.6.0

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存并退出；

2.使配置文件生效

[root@gaojunyu gaojunyu]# source /etc/profile

3.检验是否生效

新连接一个SSH

输入[gaojunyu@gaojunyu ~]$ echo $HADOOP_HOME

看是否能输出 路径信息

然后再测试一下直接使用hadoop命令

//查看HDFS根目录下的文件信息

输入[gaojunyu@gaojunyu ~]$ hadoop fs -ls /

结果如下图则，hadoop命令配置成功

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

单独启动一个namenode进程

      nohup bin/hdfsnamenode &

具体详见Hadoop启动文档