pyspark命令行打印日志问题
来源:互联网 发布:淘宝运营工资待遇 编辑:程序博客网 时间:2024/05/22 13:21
在使用spark-submit运行工程jar包时常常会出现一下两个问题:
1.在程序中手打的log(如print(“***testRdd.count=”+testRdd.count())常常会因被下一个Job的执行日志覆盖掉而无法查看日志;,或执行日志过多,不好查看print的内容。
2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭,程序便终止运行。
其中,第一个问题可以通过将运行日志重定位到文件中来解决,命令如下:
spark-submit testSpark.jar > ~/testLog.out
运行上条命令则可将手打的log保存到~/testLog.out中,且日志中仅保存手打Log内容,执行日志打印到命令行。上面这个命令每次写入testLog.out文件时都会覆盖上次的内容,可以用追加的形式:
spark-submit testSpark.jar >> ~/testLog.out
第二个问题,则可以通过后台运行Spark-submit命令nohip来解决,命令如下:
nohip spark-submit testSpark.jar &
运行上条命令则实现在后台运行spark命令,不用担心电脑异常关机以及命令行不小心关闭等问题,且输出日志保存在当前目录的nohip.out目录中。
如果希望既可以后台运行命令又可以将日志保存到目的文件中,则可将上述两个命令结合起来,命令如下:
nohip spark-submit testSpark.jar > ~/testLog.out &
如此,便可实现后台运行的问题,nohip不仅可以用于后台执行Spark命令,也可用于后台执行其他jar包,可具体查找nohip的使用方法。
转自:
http://blog.csdn.net/blank1990/article/details/49929723
0 0
- pyspark命令行打印日志问题
- hive命令行不打印日志
- hive命令行不打印日志
- Retrofit2 日志打印问题
- Pyspark安装及问题
- pyspark 遇到的问题
- brit打印日志的问题
- 日志打印两次(问题)
- 打印命令行参数,涉及的问题
- adb logcat命令行日志打印小白入门
- 线上问题:nginx日志打印时间问题
- pyspark 经常遇到的问题
- pyspark
- WebLogic不能打印日志问题及解决办法
- log4j无法打印日志的问题
- Weblogic部署项目打印log4j日志问题
- 一次调试无法打印日志问题经历
- QWaitCondition解决打印日志卡的问题
- HDU 5884 Sort(哈夫曼树+二分)
- 第4周项目2-建设“单链表”算法库
- Yii2简单地址美化并隐藏index.php
- strncmp() 函数
- 第四周项目二
- pyspark命令行打印日志问题
- 项目1-c/c++语言中函数参数传递的三种方式
- 语音识别,自然语言处理的价值正被弱化?
- HDFS文件操作FileSystem使用API报错:copyToLocalFile NullPointerException
- 编写Java程序分析字符串中每个单词的个数
- 获取当前路径下的所有文件(子文件)
- [廖雪峰 - Python2.7教程] 返回函数2 - 学习笔记
- ROS .so载入undefined reference to `dlopen'问题
- 容斥原理(模板)