hadoop hdfs+mapReduce基本使用命令
来源:互联网 发布:win7开机优化加速软件 编辑:程序博客网 时间:2024/05/16 17:52
1,列出hadoop shell所有支持的命令.
[hdfs@nx-1 root]$ hadoop fs –help
2,显示关于某个命令的详细信息.
[hdfs@nx-1 root]$ hadoop fs -help ls(command-name)
3,格式化一个新的分布式文件系统
[hdfs@nx-1 root]$ hadoop namenode –format
4,查看hdfs上的/下的文件目录
[hdfs@nx-1 root]$ hdfs dfs -ls /
5,创建一个名为/foodir的目录
[hdfs@nx-1 root]$ hadoop dfs -mkdir /foodir
6,查看hdfs文件系统下的文件内容。
[hdfs@nx-1 root]$ hadoop dfs -cat 文件名
7,将集群置于安全模式
[hdfs@nx-1 root]$ hadoop dfsadmin -safemode enter
8,显示DataNode列表
[hdfs@nx-1 root]$ hadoop dfsadmin –report
9,使DataNode节点(节点名)退役
[hdfs@nx-1 root]$ hadoop dfsadmin –decommission DataNode节点名
10,显式的将hdfs置于安全模式
[hdfs@nx-1 root]$ hadoop dfsadmin –safemode
11,在升级之前管理员需要用(升级终结操作)命令删除存在的备份文件
[hdfs@nx-1 root]$ hadoop dfsadmin –finalizeUpgrade
12,能够知道是否需要对一个集群执行升级终结操作
[hdfs@nx-1 root]$ dfsadmin -upgradeProgress status
13,使用-upgrade选项运行新的版本
[hdfs@nx-1 root]$ start-dfs.sh -upgrade
14,如果要退回老版本,就必须停止集群并部署老版本的hadoop,用回滚选项启动集群。
[hdfs@nx-1 root]$ start-dfs.h -rollback
15,创建一个hadoop档案文件
Hadoop archive –archiveName NAME *
-archiveName NAME 要创建的档案名字
Src 文件系统的路径名,和通常含正则表达的一样
dest 保存档案文件的目标目录
16,递归拷贝文件或目录
Hadoop distcp
Srcurl 源url
desturl 目标url
17,运行hdfs文件系统的检查工具
用法:
hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
**命令选项 描述
检查的起始目录。
-move 移动受损文件到/lost+found
-delete 删除受损文件。
-openforwrite 打印出写打开的文件。
-files 打印出正被检查的文件。
-blocks 打印出块信息报告。
-locations 打印出每个块的位置信息。
-racks 打印出data-node的网络拓扑结构。**
18,打印hadoop的版本信息
Hadoop version
19,运行 mapReduce job tracker节点
用法:hadoop jobtracker
20, 查看mapReduce的作业状态
hadoop job -status
e.g
[hdfs@nx-1 root]$ hadoop job -status job_201712071043_0004
21,在output-dir查看作业历史
hadoop job -history
e.g
[hdfs@nx-1 root]$ hadoop job -history /user/expert/output
22,终止mapReduce任务
hadoop job –kill
e.g
[hdfs@nx-1 root]$hadoop job –kill job_201712071403_0004
- hadoop hdfs+mapReduce基本使用命令
- Hadoop: MapReduce使用hdfs中的文件
- Hadoop之MapReduce & HDFS
- hadoop hdfs , mapreduce 第一步
- Hadoop基本架构之HDFS和MapReduce(上)
- 使用Hadoop的MapReduce与HDFS处理数据
- Hadoop分布式下的MapReduce流程及HDFS简单使用
- 使用HDFS API实现hadoop HDFS文件系统的基本操作
- hadoop学习笔记 MapReduce + HDFS
- Hadoop,MapReduce,HDFS面试题
- hadoop思维:HDFS和MapReduce
- Hadoop,MapReduce,HDFS面试题
- Hadoop学习:HDFS和MapReduce
- hadoop搭建之HDFS,MapReduce
- 何时使用hadoop fs、hadoop dfs与hdfs dfs命令
- 何时使用hadoop fs、hadoop dfs与hdfs dfs命令
- 何时使用hadoop fs、hadoop dfs与hdfs dfs命令
- 何时使用hadoop fs、hadoop dfs与hdfs dfs命令
- Lock同步_小记
- 证券投资基金名词解释
- 2017年12月7号---我的第一篇博客
- 如何更改MIDI OUT通道的音色
- 405
- hadoop hdfs+mapReduce基本使用命令
- 1366
- Excel2007表格行列切换技巧
- Webpack 删除重复文件的一种优化思路
- 20171207学习笔记之layer实现删除确认及操作完成后弹出提醒,然后刷新本页面
- [技巧分享-window10系统]Window10 锁定和解锁编辑注册表
- vuejs
- VUE(六)
- hive导入CSV数据,使用动态分区重新分区