Hadoop2.0:Jvisualvm监控MapReduce和spark作业
来源:互联网 发布:美国网络银行有几家 编辑:程序博客网 时间:2024/06/07 08:07
注意: 这个监控适用于执行时间长的作业,比如数据量较大的mapreduce和spark,以及spark streaming等。对几秒到几分钟的作业,恐怕你还没配置好jvisualvm监控,作业就结束了。
昨天看了一篇介绍如何用jvisualvm监控spark作业的方法,因为我的MapReduce作业和spark作业都是跑在hadoop2.0的yarn上的,所以自己探索者把mapreduce和spark on yarn都配置了jvisualvm监控。监控效果很赞,很直观,相信很多同学会用到的。
jvisualvm是java自带的小组件,在昨天之前我都不知道它的存在。在javaPath/jdk/bin/下面。在Linux下怎么用它我还没试,在windows下直接双击jvisualvm.exe打开就好。
spark on yarn配置
1. 客户端的spark-default.conf中添加一行配置:
spark.driver.extraJavaOptions -Dcom.sun.management.jmxremote.port=1099 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false
2. 启动spark作业
3. 打开jvisualvm,点“文件”--“添加jmx连接”,输入driver所在host:port。这里的port就是1里面配置的1099。注意,防止端口冲突。
MapReduce on yarn
1. 客户端的mapred-site.xml中修改配置项“yarn.app.mapreduce.am.command-opts”,在末尾添加:
”-Dcom.sun.management.jmxremote.port=1099 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false
2. 启动MapReduce作业
3. 打开jvisualvm,点“文件”--“添加jmx连接”,输入AM所在host:port。
监控界面类似如下:
++
还可以用同样的方法配置jvisualvm监控rm,监控namenode等,都很容易配置。因为rm, nn其实都是运行在jvm里的,所以jvisualvm监控都是ok的。具体的配置方法和上面的一样,就不详细说明了。
考虑了下,貌似不可以用jvisualvm监控hadoop1.0中的MapReduce作业,因为1.0中没有AM的概念,与AM类似的操作时在jobtracker中执行的,所以无法做到以作业为单位的监控。
- Hadoop2.0:Jvisualvm监控MapReduce和spark作业
- jvisualvm监控Spark作业
- hadoop2.0的mapreduce作业classpath研究
- MapReduce作业和任务
- spark on hadoop2.0
- 对比 Spark 和 MapReduce
- 使用JDK自带jvisualvm监控tomcat和java程序
- jconsole 和jvisualVM 监控远程 spring boot程序
- jvisualvm监控jboss
- jvisualvm远程监控Tomcat
- jvisualvm远程监控Tomcat
- jvisualvm远程监控Tomcat
- JVisualVM远程监控
- jvisualvm远程监控Tomcat
- jvisualvm远程监控Tomcat
- JvisualVM监控步骤
- JVM监控工具-Jvisualvm
- jvisualvm远程监控
- 触发器
- 关于TeX,LaTeX,MikTex,CTeX,etc.
- Linux学习篇之---CentOS Yum命令详解
- oracle 存储过程 基础
- PHP实现多进程并行执行脚本
- Hadoop2.0:Jvisualvm监控MapReduce和spark作业
- 去除VS2010注释部分波浪线
- c++ 定时器使用
- 【cocos2d-x 026】 VS2010 "当前不会命中断点,源代码与原始版本不同" 解决方法
- 详解volatile关键词的用法1
- 解决Spring定时计划任务重复执行两次(实例被构造两次)问题的方法
- 在VS2010中集成QT + Qt4.8.2编译MYSQL驱动
- myeclipse中使用Maven搭建项目
- 数据预处理--数据格式csv、arff等之间的转换