windows上storm集群的配置

来源:互联网 发布:面向对象数据库 编辑:程序博客网 时间:2024/06/05 14:54

参考教程:http://blog.csdn.net/qzjqzjqzj/article/details/44700201

一、首先确保zookeeper集群已经成功

     参考前面的文章《windows上zookeeper集群的搭建》

二、安装storm集群

   #、 一般情况下有几个zookeeper节点就安装几个storm。    //提示:还是需要注意storm安装的条件比如jdk版本,python等

   #、配置storm.yaml文件(注:几个接待你配置几份storm.yaml文件)

          storm.zookeeper.servers:    //配置zookeeper主机
                   - "127.0.0.1"      //因为在本机上所以只配置一个即可(按节点(supervisor)配置)
           #     - "server2"
         storm.zookeeper.port: 3181     //配置监听的zookeeper端口(supervisor要配置相应的zookeeper端口)
         nimbus.host: "127.0.0.1"          //确定nimbus主服务
         supervisor.slots.ports:
              - 8700
              - 8701
              - 8702
              - 8703
         storm.local.dir: "D:/develope/jiqun/storm/nimbus/data"   //配置数据保存地址(supervisor要配置相应的地址)
         storm.messaging.transport: "backtype.storm.messaging.netty.Context"   //以下的配置是netty的配置替代MQ(消息中间件)
         storm.messaging.netty.server_worker_threads: 1
         storm.messaging.netty.client_worker_threads: 1
         storm.messaging.netty.buffer_size: 5242880
         storm.messaging.netty.max_retries: 100
         storm.messaging.netty.max_wait_ms: 1000
         storm.messaging.netty.min_wait_ms: 100

   #、启动

       @、 nimbus节点启动(master:一个)

               >storm nimbus

               >storm supervisor

              >storm ui

       @、supervisor节点启动(slave:多个)

              >storm supervisor

      @、 提交一个测试任务

             >storm jar storm-starter.jar storm.starter.WordCountTopology test   //jar包看自己情况而定

      @、查看

            默认:80端口   可以通过在storm.yaml中加:ui.port:9090 修改端口

           http://localhost:8080/

   #、测试

        1、打开命令行:>jps   看看 zookeeper 、nimbus 、supervisor等进程是否启动

         2、>storm list 查看任务列表


============================================================

       特别注意端口的对应,欢迎交流!

0 0
原创粉丝点击