cdh5-spark-submit程序日志查看最后指定行数

来源：互联网发布：对人工智能的认识编辑：程序博客网时间：2024/06/06 01:06

问题描述：通过以下命令把自己的jar程序：cache_amis.jar提交到spark集群：client模式命令如下:

BASEDIR = /datafs

PROVICE=beijing

nohup /opt/cloudera/parcels/CDH/lib/spark/bin/spark-submit --class StartCBPS8 --master yarn --deploy-mode client --jars $BASEDIR/dom4j-1.3.jar,$BASEDIR/scala-actors-2.10.6.jar,$BASEDIR/ojdbc5.jar,$BASEDIR/jedis-2.7.3.jar --executor-memory 1g --executor-cores 4 ../bin/cache_chinalife_amis-0.0.1.jar $PROVICE > ../logs/cache-cbps8_$PROVICE-start.out 2>&1 &

该程序是一个spark-streaming+kafak的程序！那么怎么样才能看到里面的打印信息日志的最新10000行呢？

解决方法如下：

自己的程序可以在CDH的manager中的sparkUI中看到作业。当需要实时日志时，直接看日志就行了。但是发现只能看默认行数的日志！

如下图：可以修改主机想要的行数日志：start=-10000代表最后1000bytes的日志。

这样就不会导致日志太大而使得浏览器卡死啦！！！！

具体链接参考：

http://cdh1:19888/jobhistory/logs/cdh5:8041/container_1497435240138_1638_01_000001/container_1497435240138_1638_01_000001/root/stderr/?start=-20000

修改：start后面的参数即可！！

阅读全文

0 0