流式计算之Storm白手起家>>第一季第一集
来源:互联网 发布:淘宝工具魔镜 编辑:程序博客网 时间:2024/05/01 09:42
搭建zmq时的问题
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
- add LIBDIR to the `LD_LIBRARY_PATH' environment variable
during execution
- add LIBDIR to the `LD_RUN_PATH' environment variable
during linking
- use the `-Wl,-rpath -Wl,LIBDIR' linker flag
- have your system administrator add LIBDIR to `/etc/ld.so.conf'
安装jzmq问题:
If you ever happen to want to link against installed libraries
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
- add LIBDIR to the `LD_LIBRARY_PATH' environment variable
during execution
- add LIBDIR to the `LD_RUN_PATH' environment variable
during linking
- use the `-Wl,-rpath -Wl,LIBDIR' linker flag
- have your system administrator add LIBDIR to `/etc/ld.so.conf'
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
- add LIBDIR to the `LD_LIBRARY_PATH' environment variable
during execution
- add LIBDIR to the `LD_RUN_PATH' environment variable
during linking
- use the `-Wl,-rpath -Wl,LIBDIR' linker flag
- have your system administrator add LIBDIR to `/etc/ld.so.conf'
完整安装过程:
(1)准备工作:
修改/etc/hosts文件,添加zookeeper群对应ip和hostname
安装zookeeper
安装uuid-dev
安装pkg-config
安装git git clone https://github.com/nathanmarz/jzmq.git
安装wget wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
安装unzip
安装包:
(2)解压zmq包安装zmq:先安装zmq再安装jzmq
tar zvxf zeromq.tar.gz
./configure
make
sudo make install或者root下make install
(3)安装jzmq:
./autogen.sh./configuremake
sudo make install
(4)安装Python
tar –jxvf Python-2.6.6.tar.bz2cd Python-2.6.6./configuremake
sudo make install
(5)安装storm:
unzip storm.zip
修改conf文件夹下的storm .yaml文件
添加如下数据:
(注意这些属性前要加空格,另外冒号后边也要加空格,有个帖子这么说的)空格storm.zookeeper.servers: (这里还是用hostname替代最好,万一ip变了的话只要修改hosts文件就行了,zookeeper搭建时也用hostname代替具体的IP地址)
- "59.64.125.201"
- "xx.xx.xx.xx"
空格storm.local.dir:空格 "/home/server/storm/workdir" (这个文件夹要自己创建好)每次重启最好清空workdir这个文件夹里的内容不然各种错误
还要注意端口问题,别让它们冲突了
空格nimbus.host:空格 "nimbus节点的IP"
空格supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
(6)启动storm:
首先集群各节点(事实上不用各节点都安装zookeeper,zookeeper也不一定需要和storn公用一个集群)必须启动zookeeper,在每个机器上运行:
zkServer.sh start
在nimbus节点运行:
nohup ./storm nimbus &
在supervisor节点运行:
nohup ./storm supervisor&
在nimbus节点启动storm自带的监控:
nohup ./storm ui &
在nimbus节点的浏览器输入 http://nimbus的IP:8080/ 显示机群运行状态
zkServer.sh start
在nimbus节点运行:
nohup ./storm nimbus &
在supervisor节点运行:
nohup ./storm supervisor&
在nimbus节点启动storm自带的监控:
nohup ./storm ui &
在nimbus节点的浏览器输入 http://nimbus的IP:8080/ 显示机群运行状态
提交任务的话要这样提交(程序不需要打包成可运行jar ,普通jar包就可以)
./storm jar storm-proj.jar storm.Toplogy
./storm jar jar包名 工程package路径 工程主类名
./storm kill storm_test(这是拓扑里面定的拓扑名不是工程名称)
如下图所示:
- 流式计算之Storm白手起家>>第一季第一集
- 大数据流式计算第一课---从Storm开始
- 流式计算之Storm简介
- 流式计算之Storm简介
- 流式计算之Storm简介
- 流式计算之Storm简介
- 流式计算之Storm简介
- 流式计算之Storm简介
- 流式计算之Storm简介
- 流式计算之Storm简介
- storm流式计算之集群安装
- 第一个Storm应用
- storm入门--storm的第一个示例
- storm的第一个例子
- 【流式计算】Twitter Storm源代码分析之CoordinatedBolt
- Storm视频教程-Storm流计算之项目实战篇
- Storm视频教程-Storm流计算之项目实战篇
- Storm流式计算原理
- 第10次实验任务
- 一种Java Web程序资源的优化方法
- 错排公式
- Android Handler 和 Looper 的研究
- 从.NET平台调用Win32 API(C#调用的dll动态链接库)
- 流式计算之Storm白手起家>>第一季第一集
- Nginx用户权限
- 第十次实验任务
- MakeFile 文件的作用
- ubuntu拨号上网
- loadView循环调用 视图的装载过程 与 卸载过程
- android面试题集锦2 广播机制
- iOS 清理某一个cookies 或者全部 cookies
- MMA7361串口三轴加速度模块设计漏洞