hadoop命令

来源:互联网 发布:网店货源软件 编辑:程序博客网 时间:2024/05/21 22:51

hadoop命令,包括User CommandsAdministrationCommands

 

UserCommands具体的命令如下:

Ø  archive   建立hadoop存档文件,具体内容参考 hadoop_archives.pdf

Ø  distcp    HDFS文件上的拷贝,具体内容参考 distcp.pdf

Ø  fs        hdfs文件系统的操作,具体内容参考 hdfs_shell.pdf

Ø  fsck      运行HDFS检查文具,包括检查文件起始目录,删除受损文件,打印datanode的网络拓扑结构等等,在hdfs_user_guide.pdf 10部分有介绍

Ø  jar       运行jar文件,具体参考wordcount例子

Ø  job      map/reducejob进行交互的命令,比如提交job、返回job状态、kill job

Ø  pipes     运行Pipe作业  hadoop pipes [-conf <path>] [-input<path>]……

Ø  version    打印版本信息

Ø  CLASSNAME hadoop CLASSNAME 运行名字为CLASSNAME的类

 

AdministrationCommands具体的命令如下:

Ø  balancer    集群的平衡负载工具,通过-threshold参数设置磁盘容量百分比,覆盖之前设置的阈值。在hdfs_user_guide.pdf 7部分有介绍

Ø  daemonlog  获取或者设置每个守护进程的日志级别

Ø  datanode   运行集群的一个datanode

Ø  jobtracker   启动集群的一个jobtracker节点

Ø  namenode  运行集群的namenode节点,包括启动、格式化等

Ø  tasktracker  启动集群的一个tasktracker节点

Ø  secondarynamenode  运行集群的secondary namenode启动checkpoint过程。hdfs_user_guide.pdf6部分有介绍

Ø  dfsadmin   包含很多系统管理员命令。比如报告基础文件系统的信息和统计,手动进入或者离开安全模式(safemode),保存namenode元数据等等。