Hadoop作业提交与停止命令

来源：互联网发布：字幕视频合成软件编辑：程序博客网时间：2024/05/18 21:06

1. 作业提交命令 jar

hadoop jar <jar> [mainClass] args..

表示 jar 包名
mainClass 表示 main class 名称，可以不必输入而由 jar 命名自动搜索
args 是 main class 输入参数
bin/hadoop jar hadoop-examples-1.0.0.jar wordcount /text/input /test/output

2. 如何停止正在运行的 Hadoop 程序

这需要根据 Hadoop 的版本

1. version 小于2.3.0

查看正在运行的 Hadoop 任务：hadoop job -list
关闭Hadoop 任务进程：hadoop job -kill $jobId
组合以上两条命令就可以实现 kill 掉指定用户的 job

for i in `hadoop job -list | grep -w  username| awk '{print $1}' | grep job_`; do hadoop job -kill $i; done

username 就是你希望关闭 Hadoop 任务的用户

2. version 大于等于2.3.0

查看正在运行的 Hadoop 任务：yarn application -list
关闭 Hadoop 任务进程：yarn application -kill $ApplicationId

1 0