Storm0.9.0.1升级安装

来源：互联网发布：日照城市知乎编辑：程序博客网时间：2024/04/30 12:39

1，下载0.9.0.1 http://storm.incubator.apache.org/downloads.html

2，安装就jdk,python,zookeeper 在服务器 “192.168.1.1″ “192.168.1.1″”192.168.1.2″上

3，解压，修改conf下的storm.yaml

storm.zookeeper.servers:
- “192.168.1.1″
- “192.168.1.2″
- “192.168.1.3″

nimbus.host: “192.168.1.10″
storm.local.dir: “/data/storm/work”
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
storm.messaging.transport: “backtype.storm.messaging.netty.Context”
storm.messaging.netty.buffer_size: 209715200
storm.messaging.netty.max_retries: 100
storm.messaging.netty.max_wait_ms: 1000
storm.messaging.netty.min_wait_ms: 100

logviewer.port: 80

4,删除storm/lib下的log4j-over-slf4j，因为0.9用的logback,不删除top可能起不来，并报类似如下错误

2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn’t started
2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn’t started

或者如下错误

2014-03-12 17:48:56 b.s.d.worker [ERROR] Error on initialization of server mk-worker
java.io.IOException: No such file or directory

把这些错误日志前面的执行语句拿出来看一下就明白了

为了支持logviewer还要给storm/lib下手动copy一个log4j的jar报，这个自己找找吧，我是把0.8.1下面的log4j 拷贝过来的

不得不说，storm的升级对日志的支持很乱

4，分发配置好的storm，到192.168.1.10，192.168.1.12，192.168.1.13，并在三台服务器上创建/data/storm/work给足够的写权限

5，启动

192.168.1.10

#启动storm nimbus进程
nohup storm nimbus &
#启动storm ui监控界面进程
nohup storm ui &

192.168.1.12，192.168.1.13

#启动storm supervisor进程
nohup storm supervisor &
#启动storm 日志监控进程。启动该进程，可以在storm ui界面上看各个supervisor节点上日志
nohup storm logviewer &

6，show time

http://192.168.1.10:8080/

storm jar **.jar ATopology 跑一个top看看效果

下面可以看具体work的日志

http://192.168.1.12/log?file=worker-6701.log

7,资源分配不爽

storm rebalance ATopology -n 10 修改个ATopology 的workers玩玩

storm rebalance ATopology -e stepblot=74 修改个 ATopology 的stepblot的executors数量玩玩

安装到此为止！

4,删除storm/lib下的log4j-over-slf4j，因为0.9用的logback,不删除top可能起不来，并报类似如下错误