jvisualvm监控Spark作业
来源:互联网 发布:淘宝哪里自助开通 编辑:程序博客网 时间:2024/06/06 18:23
jvisualvm工具JDK自带的一个监控工具,该工具是用来监控java运行程序的cpu、内存、线程等的使用情况,并且使用图表的方式监控java程序、还具有远程监控能力,不失为一个用来监控Java程序的好工具。
同样,我们可以使用jvisualvm来监控Spark应用程序(Application),从而可以看到Spark应用程序堆,线程的使用情况,从而根据这些数据去优化您的程序。废话少说,下面来说说怎么配置,使得我们可以使用jvisualvm来监控程序:
我们介绍了Spark的几种Metrics,其实这里我们也可以使用Metrics来配置JMX,我们只要在$SPARK_HOME/conf目录下配置metrics.properties,如下:
2、启动你的Spark应用程序
3、打开jvisualvm.exe监控你的Spark应用程序
在JDK安装的bin目录下有个jvisualvm.exe,双击它,然后进行配置,依次选择 文件-> 添加JMX连接,然后会弹出一个对话框,在连接文本框里面填上你Driver机器的地址和端口,比如:http://www.iteblog.com:1099。然后就可以看到如下的画面:
同样,我们可以使用jvisualvm来监控Spark应用程序(Application),从而可以看到Spark应用程序堆,线程的使用情况,从而根据这些数据去优化您的程序。废话少说,下面来说说怎么配置,使得我们可以使用jvisualvm来监控程序:
1、在$SPARK_HOME/conf目录下配置spark-default.conf文件,加入如下配置:
spark.driver.extraJavaOptions -Dcom.sun.management.jmxremote.port=1099 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=falsejmx默认的是1099端口,上面没有使用到ssl;并且不需要登录即可建立Jmx连接。
我们介绍了Spark的几种Metrics,其实这里我们也可以使用Metrics来配置JMX,我们只要在$SPARK_HOME/conf目录下配置metrics.properties,如下:
*.sink.jmx.class=org.apache.spark.metrics.sink.JmxSink这个在1099端口上开启JMX,目前貌似不支持端口的配置,以及SSL、authenticate等配置,其他的都和上面的一样。
2、启动你的Spark应用程序
3、打开jvisualvm.exe监控你的Spark应用程序
在JDK安装的bin目录下有个jvisualvm.exe,双击它,然后进行配置,依次选择 文件-> 添加JMX连接,然后会弹出一个对话框,在连接文本框里面填上你Driver机器的地址和端口,比如:http://www.iteblog.com:1099。然后就可以看到如下的画面:
里面可以看到很多关于你Spark应用程序的系信息,比如JVM配置和系统参数(其实这些在你应用程序的4040端口看到这些信息)。
在Java安装目录下的bin文件夹还有个jconsole.exe程序,这个使用和jvisualvm.exe使用差不多,只不过jvisualvm.exe图形漂亮很多。当然,还有很多工具可以监控Java程序的,比如jprofiler,这个功能更强大,但是配置起来也比较麻烦,而且这款软件是收费的。
0 1
- jvisualvm监控Spark作业
- Hadoop2.0:Jvisualvm监控MapReduce和spark作业
- jvisualvm监控jboss
- jvisualvm远程监控Tomcat
- jvisualvm远程监控Tomcat
- jvisualvm远程监控Tomcat
- JVisualVM远程监控
- jvisualvm远程监控Tomcat
- jvisualvm远程监控Tomcat
- JvisualVM监控步骤
- JVM监控工具-Jvisualvm
- jvisualvm远程监控
- jvisualvm远程监控Tomcat
- jvisualvm监控tomcat
- jvisualvm远程监控Tomcat
- jvisualvm远程监控Tomcat
- jvisualvm远程监控Tomcat
- jvisualvm监控java程序
- 多线程编程 - NSOperationQueue
- 网络黑客攻防学习平台之基础关第五题
- hdoj2043
- redis实战:使用redis实现自动补全
- Missing iOS Distribution signing identity问题解决
- jvisualvm监控Spark作业
- linux下配置多个tomcat
- LaTeX技巧004:给文字添加下划线、波浪线等样式
- POJ 3680 Intervals
- 7——PHP选择结构
- HDU 1284钱币兑换问题 完全背包求方案数
- 数组变树
- 基于calcite为CSV文件包装SQL接口
- Apache顶级项目介绍2-Kafka