开源夏令营——Jstorm on YARN之期末总结
来源:互联网 发布:淘宝中级客服 编辑:程序博客网 时间:2024/05/17 01:00
经过一个暑假的实习,项目已经完成,在此期间,对storm, jstorm, storm-yarn都有了进一步的了解,在此对jstorm on yarn项目作一个整体的总结。
1. jstorm-yarn项目是依照storm-yarn项目进行修改,主体架构保持不变,只在jstorm与storm不同的地方进行修改,使之能够运行。
2. jstorm-yarn架构:
用户启动jstorm-yarn后,会首先向yarn申请一个container运行MasterServer,MasterServer会启动jstorm Nimbus Server。同时MasterServer也继承了ThriftServer,用于接收客户端命令。当yarn集群资源充足时,MasterServer也会申请启动默认数量的jstorm Supervisor Server。supervisor数量可通过命令addSupervisor进行增加。
3. jstorm-yarn命令: []内为可选参数
- jstorm-yarn help
- jstorm-yarn launch <master.yaml>
-appname <arg> Application Name. Default value - JStorm-on-Yarn
-jstormConfOutput <arg> storm.yaml file
-jstormHome <arg> JStorm Home Directory
-jstormZip <arg> file path of jstorm.zip
-output <arg> Output file
-queue <arg> RM Queue in which this application is to be submitted
- jstorm-yarn addSupervisors -appId <arg> [-output <arg>] -supervisors <arg>
- jstorm-yarn stopSupervisors -appId <arg> [-output <arg>]
- jstorm-yarn startSupervisors -appId <arg> [-output <arg>]
- jstorm-yarn startNimbus -appId <arg> [-output <arg>]
- jstorm-yarn stopNimbus -appId <arg> [-output <arg>]
- jstorm-yarn getStormConfig -appId <arg> [-output <arg>]
- jstorm-yarn setStormConfig -appId <arg> [-output <arg>]
- jstorm-yarn version
- jstorm-yarn shutdown
详见项目说明
- 开源夏令营——Jstorm on YARN之期末总结
- 开源夏令营——JStorm on YARN之中期报告
- 开源夏令营之JStorm Trident接口性能优化——开篇
- [SC-08]开源夏令营项目期末总结
- jstorm on yarn最后一步
- jstorm on yarn命令集合
- jstorm-yarn 启动流程总结
- CSDN开源夏令营 百度数据可视化实践 ECharts 11 (期末总结)
- 开源夏令营总结
- 开源夏令营总结
- 开源夏令营总结
- 开源夏令营总结
- storm-yarn代码研究以及JStorm on Yarn初步
- 数据结构—期末总结
- 开源夏令营中期总结
- 开源夏令营最终总结
- CSDN开源夏令营总结
- spark官方文档之——Running Spark on YARN YARN上运行SPARK
- Android读写联系人数据(内容提供者应用)
- opencv_study第二篇|opencv播放AVI视频
- GTD&Email引领现在生活
- Play Game+hdu+记忆化搜索
- 开始吧,我的程序员之路
- 开源夏令营——Jstorm on YARN之期末总结
- “与开发人员中心通信时出错。 请在手机上设置正确的日期和时间,错误0x64”的解决办法
- 版本管理小谈
- 【九度OJ】1163【素数判断】【C实现】
- Android Studio vs. Eclipse ADT Comparison
- DIV横向排列_CSS如何让多个div盒子并排同行显示
- 2014上半年总结
- 《STL源码剖析》学习笔记系列之五——关联式容器(2)
- java.net.MalformedURLException: Invalid address. Endpoint address cannot be null.