storm rebalance 命令调整topology并行数及问题分析
来源:互联网 发布:淘宝整点秒杀技巧 编辑:程序博客网 时间:2024/06/05 18:05
1.概述
通过前面的介绍,我们知道Storm可以实现弹性计算,根据需要实时调整Topology的并行度.
参考:
1)翻译:Storm Scalable ——Storm弹性计算
2)Storm弹性计算:实时调整Topology并发数
2.问题
经过试验发现, storm rebalance topology-name -n 调整worker数没有问题。
但在调整topology中某个spout或bolt的并行数时,有时候并不能生效。
如 storm rebalance topology-name -e bolt1=3 命令有时候会不生效。
经过进一步分析发现,“-e bolt1=3”, 可以用于减小bolt1的并发度,但并不能增大其并发度。
也就说如果默认bolt1的并发度为5(在创建topology时设定),那么我们可以用“-e bolt1=4”将其并发度减小为4,但并不能使用“-e bolt1=6”将其并发发度调整为6。
“-e bolt1=6”命令的情况是:如果当前bolt1的并发度为5,则什么也做;如果bolt1当前的并发度小于5,将其调整为5。
3.问题分析与解决
起初以为是storm的限制,后来在网上看到的说法是:
You can only increase the parallelism (number of executors) to the number of tasks. So if your component is having for example (number of executors: 50, number of tasks: 50) then you can not increase the parallelism, however you can decrease it.
引用自:http://stackoverflow.com/questions/18716780/storm-v0-8-2-rebalance-command-not-updating-the-number-of-executors-for-a-bolt
就是说spout和bolt的并行数,最多可以调整到它的taskNum,默认情况下,taskNum是和你设置的 paralismNum相同的。
可以通过如下方法设置Bolt或Spout的taskNum。
- builder.setBolt("cpp", new CppBolt(), 3).setNumTasks(5).noneGrouping(pre_name);
- storm rebalance 命令调整topology并行数及问题分析
- storm rebalance 命令调整topology并行数及问题分析
- Storm的并行度详解 Strom Topology执行分析:worker数,Bolt实例数,executor数,task数
- Storm弹性计算:实时调整Topology并发数
- Storm rebalance原理及可靠性保证
- Storm Topology的生命周期过程分析
- Storm-源码分析-Topology Submit-Client
- storm源码分析之topology提交过程
- Storm Topology的生命周期过程分析
- Storm 配置、命令(提交 Topology 到集群)
- Twitter Storm源代码分析之Topology的执行过程
- storm-0.8.2源码分析之topology启动
- Twitter Storm源代码分析之Topology的执行过程
- Twitter Storm源代码分析之Topology的执行过程
- Twitter Storm源代码分析之Topology的执行过程
- Twitter Storm源代码分析之Topology的执行过程
- storm-0.8.2源码分析2之topology启动
- storm源码分析1之topology提交过程
- qa是
- scp:command not found
- solr Error initializing QueryElevationComponent.
- 超级猜图
- sql行转列
- storm rebalance 命令调整topology并行数及问题分析
- 【IOS 开发学习总结-OC-30】★★OC之foundation 框架——集合(NSSet 与 NSMutableSet)
- tomcat配置https启动出现"No Certificate file specified or invalid file format"异常
- unknown host www.baidu.com network is unreachable
- xcode中如何重命名文件夹
- 无题(二):字符串翻转(结合内存四区)
- 安装插件的方法
- 查询109号员工的员工号,员工名,工资,使用记录类型变量的字段接收查询结果
- Tachyon:Spark生态系统中的分布式内存文件系统