集群作业提交

来源：互联网发布：同花顺mac版功能全吗编辑：程序博客网时间：2024/05/01 22:24

一、Hadoop作业提交

hadoop jar /user/fenghui/job.jar job.mapreduce.extractLog  hdfs://master:9000/user/printLog/error hdfs://master:9000/user/extractLog/error hdfs://master:9000/user/param/error.txt

job.jar：提交的任务
job.mapreduce.extractLog：job中的主函数
hdfs：三个为输入参数

二、Spark作业提交

./spark-submit --master yarn --deploy-mode cluster --class dsp_data_script.spark.main job.jar arguments

--class: 应用程序(application)入口
--master: 集群中master节点的URL(e.g. spark://23.195.26.187:7077)
--deploy-mode: 是否将driver部署到worker节点（cluster模式）或者将driver作为一个外部的client(client模式)
job.jar:打包的包含相关依赖的jar文件的路径
arguments:传送给应用程序main函数的参数

三、Storm任务提交

 ./storm jar job.jar cn.sysu.metric.job.Test 192.168.11.91

job.jar：提交的jar包
cn.sysu.metric.job.Test：执行的主类
192.168.11.91： nimbus的ip地址

四、提交Java任务

java -jar demo.jar > log.log &

jar架包设置成后台程序，并将输出定向为log.log

0 0