Storm 集群异常的解决
来源:互联网 发布:山田风太郎 知乎 编辑:程序博客网 时间:2024/06/06 18:11
背景: 5台机器, 部署storm计算节点, 2台机器drpc节点. 环境如下:
Storm: 0.7.1
Linux: CentOS 5.5
Java: jdk 1.6.37
问题:storm 集群总是在运行一段时间后某些节点停止工作, 工作进程退出.
解决过程:
1) 查看storm日志
发现storm抛出如下异常:
worker [ERROR] Error on initialization of server mk-workerjava.lang.RuntimeException: org.zeromq.ZMQException: Invalid argument(0x16)
at clojure.lang.LazySeq.sval(LazySeq.java:47)
at clojure.lang.LazySeq.seq …
2) 将ZeroMQ降级
通过Google搜索, 发现有很多人问这个问题,nathanmarz 的建议是将ZeroMQ的版本降级为2.1.7; 原来系统使用的3.0.2,降级为2.1.7后发现仍然存在这个问题, 基本可以排除是由于ZeroMQ导致的.
3) 升级Storm
将Storm升级至0.7.2后, 仍然存在问题. 看来是安装部署的问题
4) 真正的原因
最后经过整整三天的不停启动, 查看日志, 重新安装. 总算发现了问题出在DNS服务上, 5台计算节点使用内部的DNS服务, 但是这台DNS服务器不够稳定, 改成静态域名解析后问题不再出现
以上是我在开发大有网(http://www.dayoou.com)遇到的问题,和大家分享。
- Storm 集群异常的解决
- storm集群的监控
- Storm集群的安装
- storm集群的监控
- Storm集群的安装
- Storm集群的搭建
- storm集群的安装
- storm集群的搭建
- storm集群的搭建
- Storm集群的搭建
- storm集群的部署
- Storm集群的DRPC模式
- Storm集群的安装配置
- 关于storm-starter编译异常解决!!!
- 解决集群开启Kerberos之后 storm UI在本地无法打开的问题(mac os+safari)
- 【storm】storm集群安装
- storm笔记:storm集群
- storm 集群
- oracle11g创建表空间
- 探测文本文件编码的问题
- android 多渠道自动打包
- malloc(sizeof(0))
- 数据库分页算法java实现
- Storm 集群异常的解决
- android酷炫翻页效果+图形分析
- Android_使用ant对项目进行编译签名优化打包
- SQLite区分大小写查询
- STL string类常用函数
- ibatis #和$的区别
- sum的编写
- 学费查询录入导入导出
- Android开发10——Activity的跳转与传值_显示意图(intent)的应用