Dr. Elephant大象医生安装文档
来源:互联网 发布:瓶中船的制作材料淘宝 编辑:程序博客网 时间:2024/04/30 15:56
Dr.Elephant被定位成一个对Hadoop和Spark任务进行性能监控和调优的工具,它能够自动收集Hadoop平台所有的度量标准,并对收集的数据进行分析,并将分析结果以一种简单且易于理解的形式展示出来。Dr.Elephant的设计目的是通过它对任务的分析结果指导Hadoop/Spark开发者对其任务进行便捷的优化,从而提高开发者的效率以及Hadoop集群的使用效率。在Dr.Elephant中定义了一系列的启发式算法(Heuristics),这些算法提供了对Hadoop/Spark任务进行性能分析的功能,这些启发式算法都是基于一定的Hadoop/Spark任务调优规则而设计的,而且这些启发式算法被设计成插件式的、可配置的,我们可以很方便的在Dr.Elephant中添加自定义的启发式算法。通过对任务进行分析,启发式算法会给我们一些优化建议,基于此,我们可以对任务进行调优,从而使任务的运行更加高效。
Dr. Elephant简介:http://blog.csdn.net/everstring_china/article/details/51312838
Dr. Elephant用户指南:http://blog.csdn.net/qsc0624/article/details/51258955
官方文档翻译汇总:http://blog.csdn.net/derekjiang/article/details/51389729
Github主页:https://github.com/linkedin/dr-elephant
安装配置过程
依赖环境
JDK8,play framework2.2.1,maven3.2.2
git clone https://github.com/linkedin/dr-elephant.git
cd dr-elephant
修改compile.sh
配置hadoop和spark的版本
HADOOP_VERSION="2.6.0"
SPARK_VERSION="1.5.0"
./compile
编译完成后dist/dr-elephant-2.0.3-SNAPSHOT.zip拷贝到需要安装dr. elephant的机器上
要求这台机器有JDK8、play2.2.1和Hadoop环境(配置文件即可?)
安装在172.16.20.61:/usr/local/dr-elephant/目录下
创建数据库drelephant
赋予doctor用户以权限
grant all privileges on drelephant.* doctor@"localhost" identified by "123123"
在源码包中有个conf/app-conf目录复制到/usr/local/dr-elephant/conf目录下
修改app-conf/elephant.conf如下:
# Play application server port
port=8080
# Secret key
# The secret key is used to secure cryptographics functions.
# If you deploy your application to several instances be sure to use the same key!
# You can set the key using the env variable APPLICATION_SECRET or set it here
# Setting it here has higher precedence than env variable.
# application_secret="changeme"
# Database configuration
db_url=localhost
db_name=drelephant
db_user=doctor
db_password="123123"
# Set the keytab user and the path to the keytab file if security is enabled.
# keytab_user=""
# keytab_location=""
# Additional Configuration
# Checkhttps://www.playframework.com/documentation/2.2.x/ProductionConfiguration
port=8080
# Secret key
# The secret key is used to secure cryptographics functions.
# If you deploy your application to several instances be sure to use the same key!
# You can set the key using the env variable APPLICATION_SECRET or set it here
# Setting it here has higher precedence than env variable.
# application_secret="changeme"
# Database configuration
db_url=localhost
db_name=drelephant
db_user=doctor
db_password="123123"
# Set the keytab user and the path to the keytab file if security is enabled.
# keytab_user=""
# keytab_location=""
# Additional Configuration
# Checkhttps://www.playframework.com/documentation/2.2.x/ProductionConfiguration
jvm_args="-Devolutionplugin=enabled -DapplyEvolutions.default=true"
修改bin/start.sh,在开头添加 export JAVA_HOME=/usr/java/jdk1.8.0_74
export ELEPHANT_CONF_DIR=/usr/local/dr-elephant/conf/app-conf
bin/start.sh启动
dr.log是运行时候的日志
运行截图
0 0
- Dr. Elephant大象医生安装文档
- Dr.Elephant 官方文档翻译汇总
- Dr.Elephant 官方文档翻译汇总
- Dr.Elephant的安装及使用
- Dr.Elephant简介
- Dr.Elephant用户指南
- Dr.Elephant开发者指南
- Dr.Elephant部署指南
- Dr.Elephant Rest API
- Dr.Elephant FAQ 常见问题
- Dr.Elephant简介 - 【Dr.Elephant系列文章-1】
- Dr.Elephant用户指南 - 【Dr.Elephant系列文章-2】
- Dr.Elephant开发者指南 - 【Dr.Elephant系列文章-3】
- Dr.Elephant部署指南 - 【Dr.Elephant系列文章-4】
- Dr.Elephant启发式算法指南 - 【Dr.Elephant系列文章-5】
- Dr.Elephant Rest API -【Dr.Elephant系列文章-7】
- [EverString收录]Dr.Elephant简介
- [EverString收录] Dr.Elephant用户指南
- Zookeeper实战之选举
- 区分深拷贝和浅拷贝
- gcd
- JSON和XML区别和优缺点比较
- Linux命令——文件查找命令find
- Dr. Elephant大象医生安装文档
- c++-作业6
- OpenGL学习脚印: 二维纹理映射(2D textures)
- C++ 将String类作为包含类
- EasyDarwin开源流媒体服务器gettimeofday性能优化(3000万/秒次优化至8000万次/秒)
- 菜鸟修炼,多客户端Thread
- 约数倍数选卡片---博弈论
- JAVA设计模式(24):创建型-工厂模式【工厂方法模式】(Factory Method)
- 关于window.open被拦截那些事