Hadoop-2.3.0学习(3)——Hadoop Shell的基本操作介绍

来源:互联网 发布:优化建议 翻译 编辑:程序博客网 时间:2024/05/16 19:16

存着一直没上传的文章,随便记录一些常用的 hadoop shell命令。

首先,默认hadoop2.3.0已经配置好,安装目录位于/home/high5/hadoop-2.3.0,进入该目录下


1、启动与关闭hadoop:

 启动hadoop:之前版本都是使用sbin/start-all.sh命令,当然,hadoop2.3.0也支持该命令,但是会提示最好使用sbin/start-yarn.sh

 关闭hadoop:sbin/stop-all.sh


2、文件操作:

注意:hadoop没有当前目录的概念,也没有cd命令
bin/hadoop fs -ls
bin/hadoop fs -ls /example

上传文件到HDFS
bin/hadoop fs -put /example(源文件) /in(放去哪儿)
bin/hadoop 

将HDFS的文件复制到本地
bin/hadoop fs -get /in(HDFS中文件) /xyz(本地文件)

删除HDFS下的文档
bin/hadoop fs -rmr abc

查看HDFS下某个文件的内容
bin/hadoop fs -cat ....

查看HDFS基本统计信息
bin/hadoop dfsadmin -report


3、MAPREDUCE JOB操作:
提交MAPREDUCE JOB:
原则上说,Hadoop所有的MapReduce Job都是一个jar包。
运行一个/hadoop/job.jar的MapReduce Job:
sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的JOB
假设Job_Id为:job_201005310937_0053:
sh bin/hadoop job -kill job_201005310937_0053


4、进入和退出安全模式:


进入:bin/hadoop dfsadmin -safemode enter
退出:bin/hadoop dfsadmin -safemode leave


补充:什么是安全模式?

安全模式是Namenode的一个状态,这种状态下,Namenode 
1. 不接受对名字空间的更改(只读)
2. 不复制或删除块
Namenode会在启动时自动进入安全模式,当配置的块最小百分比数满足最小的副本数条件时,会自动离开安全模式。安全模式可以手动进入,但是这样的话也必须手动关闭安全模式。


官方文档:http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/CommandsManual.html

中文(版本比较旧):http://hadoop.apache.org/docs/r0.19.1/cn/hdfs_shell.html

1、

0 0