用C/C++实现对STORM的运行信息查看和控制
来源:互联网 发布:数据港千股千评 编辑:程序博客网 时间:2024/05/22 16:48
最近公司有个需求,需要在后端应用服务器上实时获取STORM集群的运行信息和topology相关的提交和控制,经过几天对STORM UI和CMD源码的分析,得出可以通过其thrift接口调用实现这些功能。先下载一个thrift库进行编码和安装。关于thrift可以参见这个地方。安装完成后,从STORM源码中将storm.thrift拷贝到thrift目录下。输入:
hrift -gen cpp storm.thrift
会得到一个gen-cpp目录,里面就是thrift先关脚本的C++实现。我们先看storm.thrift文件接口:
service Nimbus { //TOPOLOGY上传接口 void submitTopology(1: string name, 2: string uploadedJarLocation, 3: string jsonConf, 4: StormTopology topology); void submitTopologyWithOpts(1: string name, 2: string uploadedJarLocation, 3: string jsonConf, 4: StormTopology topology, 5: SubmitOptions options); void killTopology(1: string name); void killTopologyWithOpts(1: string name, 2: KillOptions options) throws (1: NotAliveException e); void activate(1: string name) ; void deactivate(1: string name); void rebalance(1: string name, 2: RebalanceOptions options); //TOPOLOGY JAR包上传接口 string beginFileUpload(); void uploadChunk(1: string location, 2: binary chunk); void finishFileUpload(1: string location); string beginFileDownload(1: string file); binary downloadChunk(1: string id); //获取NIMBUS的配置信息 string getNimbusConf(); //获取STORM集群运行信息 ClusterSummary getClusterInfo(); //获取TOPOLOGY的运行状态信息 TopologyInfo getTopologyInfo(1: string id); //获取TOPOLOGY对象信息 string getTopologyConf(1: string id); StormTopology getTopology(1: string id); StormTopology getUserTopology(1: string id);}生成C++文件后,我们就可以对其接口进行调用,由于thrift c++框架是使用boost库实现的,必须安装boost库依赖。实现的代码如下:
#define HAVE_NETDB_H //使用网络模块的宏必须打开#include "Nimbus.h"#include "storm_types.h"#include <string>#include <iostream>#include <set>#include <transport/TSocket.h> #include <transport/TBufferTransports.h> #include <protocol/TBinaryProtocol.h> int test_storm_thrift(){boost::shared_ptr<TSocket> tsocket(new TSocket("storm-nimbus-server", 6627));boost::shared_ptr<TTransport> ttransport(new TFramedTransport(tsocket, 1024 * 512)); //此处必须使用TFramedTransportboost::shared_ptr<TProtocol> tprotocol(new TBinaryProtocol(ttransport)); try{//创建一个nimbus客户端对象NimbusClient client(tprotocol);//打开通道 ttransport->open();ClusterSummary summ;std::string conf;//对STORM的RPC调用,直接获取信息,同步进行的。client.getNimbusConf(conf);client.getClusterInfo(summ);//关闭通道ttransport->close(); }catch(TException &tx){ printf("InvalidOperation: %s\n", tx.what()); }}以上代码就可以直接获取nimbus的配置和集群信息,其他接口以此类推。值得注意的是storm.thrift to C++生成的storm_types.h文件里其中operator < 函数都未实现,所以必须手动进行添加实现,否则编译会有问题。
不仅仅C++可以实现STORM的控制,PHP和其他的语言也可以实现,只要thrift支持就OK。有兴趣可以实现一下试试看。
0 0
- 用C/C++实现对STORM的运行信息查看和控制
- 【C++】MFC 创建对话框,实现对课程信息和学生信息的管理
- C/C++用动态链表实现对学生信息的存储
- 用C查看系统任务管理器中运行的程序
- C语言查看程序运行的时间
- Storm下运行C++(二)
- Storm下运行C++(二)
- C#用API来查看系统信息
- C#用API来查看系统信息
- 查看storm运行日志
- 【C#】C#实现对网站数据的采集和抓取
- 【C#】C#实现对网站数据的采集和抓取
- 【C#】C#实现对网站数据的采集和抓取
- C语言基础--测试程序中实现对FPS的控制
- c++/对*和->的重载
- C++MFC编程笔记day04 运行时类信息和窗口的动态、静态切分
- twitter storm安装和storm-start的本地运行
- twitter storm安装和storm-start的本地运行
- 绝对想不到 新iPhone预计将影响亚洲经济
- 3D数学基础图形与游戏开发之 坐标系
- tcp为什么要三次握手,而不能二次握手?
- SQL A表数据更新到B表
- poj 1860 Currency Exchange (SPFA、正权回路 bellman-ford)
- 用C/C++实现对STORM的运行信息查看和控制
- 介绍一个垂直滚动的jQuery插件,vTicker
- 我的就错误杭电2024,再议吧
- Java NIO SocketChannel
- poj 1088 滑雪
- 模仿百度搜索的自动提示功能 高大上
- 一行命令搞定node.js升级
- Adobe Photoshop脚本自动化技术
- 设计模式:享元模式