系统增加对hiveserver的负载均衡及单个server挂掉的保障
来源:互联网 发布:淮南大数据概念 编辑:程序博客网 时间:2024/06/05 02:32
转载: http://blog.csdn.net/wf1982/article/details/7087101
前期,dip-data-analyze 实现了线上的基本功能,这段时间,随着本部门及其他部门在上面跑任务增多,对hiveserver使用并发要求越来越高。
之前碰到过很多次 hiveserver发生stackoverflow问题,发生该问题后,hiveserver就会很快失效,表现是进程在,端口通,但是不再接受任务。
原因是hiveserver设置方法栈较低,之前-Xss=128k,上周五更新为512k ,到今天已经连续运行一周,目前系统稳定。
同时为了保障hiveserver挂掉或失效情况下,dip-data-analyze照样能正常运行,增加了负载均衡及转发任务及黑名单机制。逻辑图:
目前系统性能上存在一个问题就是 resin jvm 内存使用上 。现在设置最大堆内存3.8g,新生代2g,gc使用cms,年老代 在45%时gc,然后预估上限值 预估下线 分别为45% 30%。使用 linux top -M 观察 系统在运行2小时后 会从百兆级迅速增长到4g甚至以上。但是使用jmap -heap 或者 jmap -histo 等查看,堆一般使用在800m左右,多时到1.5g。
表名 jvm在任务过来后,分配内存给新对象,同时gc,但是 并没有 和 预估上限值 预估下线 分别为45% 30%设定的那样去收缩已分配内存,虽然已经gc掉.
欢迎朋友们 讨论 :)
- 系统增加对hiveserver的负载均衡及单个server挂掉的保障
- 系统增加对hiveserver的负载均衡及单个server挂掉的保障
- 对负载均衡的整理
- 利用负载均衡技术增加网络带宽及服务器的数据处理能力
- SQL Server 2005的负载均衡
- windows2003 server网络负载均衡的实现
- SQL Server 2005的负载均衡
- 应用系统负载均衡的实现方式
- ICE的负载均衡及如何容错
- httpsession的原理及负载均衡
- Nginx的反向代理及负载均衡
- nginx的反向代理及负载均衡
- Lvs的安装及负载均衡实现
- 利用LVS(Linux Virtual Server)系统实现Web服务器集群的负载均衡
- 分布式缓存负载均衡负载均衡的缓存处理:虚拟节点对一致性hash的改进
- linux下的负载均衡,安装及配置详解(例子使用centos系统)
- RAC的负载均衡
- 负载均衡的方式
- 将Hive Thrift server 添加到服务后台运行
- Qt下正确在QByteArray中保存字节数据的方法
- Android入门教程(二)之------环境搭建
- What Powers Instagram: Hundreds of Instances, Dozens of Technologies
- MediaPlayer和AudioTrack播放Audio的区别与联系
- 系统增加对hiveserver的负载均衡及单个server挂掉的保障
- 制作静态库 第三方SDK
- container_of(ptr, type, member)及链表操作
- CMemDC代码解
- 版本发布脚本
- 基于ffmpeg的wince版本网络收音机开发
- 飞猪投稿伤感日志-我哭了谁知道?
- Android入门教程(三)之------导入现有Android工程
- 秋夜长,怎奈碎念悠怅