Hadoop-2.3.0学习(3)——Hadoop Shell的基本操作介绍
来源:互联网 发布:优化建议 翻译 编辑:程序博客网 时间:2024/05/16 19:16
存着一直没上传的文章,随便记录一些常用的 hadoop shell命令。
首先,默认hadoop2.3.0已经配置好,安装目录位于/home/high5/hadoop-2.3.0,进入该目录下。
1、启动与关闭hadoop:
启动hadoop:之前版本都是使用sbin/start-all.sh命令,当然,hadoop2.3.0也支持该命令,但是会提示最好使用sbin/start-yarn.sh
关闭hadoop:sbin/stop-all.sh
2、文件操作:
注意:hadoop没有当前目录的概念,也没有cd命令
bin/hadoop fs -ls
bin/hadoop fs -ls /example
上传文件到HDFS
bin/hadoop fs -put /example(源文件) /in(放去哪儿)
bin/hadoop
将HDFS的文件复制到本地
bin/hadoop fs -get /in(HDFS中文件) /xyz(本地文件)
删除HDFS下的文档
bin/hadoop fs -rmr abc
查看HDFS下某个文件的内容
bin/hadoop fs -cat ....
查看HDFS基本统计信息
bin/hadoop dfsadmin -report
3、MAPREDUCE JOB操作:
提交MAPREDUCE JOB:
原则上说,Hadoop所有的MapReduce Job都是一个jar包。
运行一个/hadoop/job.jar的MapReduce Job:
sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
杀死某个正在运行的JOB
假设Job_Id为:job_201005310937_0053:
sh bin/hadoop job -kill job_201005310937_0053
4、进入和退出安全模式:
进入:bin/hadoop dfsadmin -safemode enter
退出:bin/hadoop dfsadmin -safemode leave
补充:什么是安全模式?
安全模式是Namenode的一个状态,这种状态下,Namenode
1. 不接受对名字空间的更改(只读)
2. 不复制或删除块
Namenode会在启动时自动进入安全模式,当配置的块最小百分比数满足最小的副本数条件时,会自动离开安全模式。安全模式可以手动进入,但是这样的话也必须手动关闭安全模式。
官方文档:http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/CommandsManual.html
中文(版本比较旧):http://hadoop.apache.org/docs/r0.19.1/cn/hdfs_shell.html
1、
- Hadoop-2.3.0学习(3)——Hadoop Shell的基本操作介绍
- Hadoop实战-初级部分 之 Hadoop Shell 基本操作介绍
- hadoop学习【10】——HDFS的shell操作
- hadoop学习(3)—— hadoop基础模块介绍
- Hadoop的Shell操作
- hadoop学习(六)----HDFS的shell操作
- hadoop学习笔记3:shell下的hdfs操作
- Hadoop的基本使用(3)——MapReduce的基本操作(实现字符统计)
- Hadoop学习笔记—1.基本介绍与环境配置
- Hadoop笔记六之Hdfs的基本shell操作
- MongoDB学习—(3)shell的基本操作
- hadoop的shell命令操作
- 大数据学习篇:hadoop深入浅出系列之HDFS(四)——shell操作
- Hadoop文件的基本操作
- Hadoop文件的基本操作
- hadoop的HDFS基本操作
- Hadoop 文件的基本操作
- Hadoop基本Shell命令
- QT之GPS
- 论坛问题总结
- 阿里校招2014-8-29
- 百度搜索有那么多缺点,大家为什么还要用呢?
- C++内存泄露
- Hadoop-2.3.0学习(3)——Hadoop Shell的基本操作介绍
- 回文判断———数据结构栈的应用(一)
- C语言中循环结构
- Java中的List转换成JSON报错(三)
- Codeforces 263 C. Circle of Numbers D. Cycle in Graph (dfs一般难度)
- 多线程中的使用共享变量的问题
- MyEclipse将工程进行移动的时候会对@Override报错
- c++中关于变量,引用,指针的简单转换
- 每天一个shell脚本之for&awk&less-2