Apache Storm 1.1.0 中文文档 | ApacheCN

来源:互联网 发布:数据挖掘需要什么基础 编辑:程序博客网 时间:2024/06/10 02:57

前言


Apache Storm 是一个免费的,开源的,分布式的实时计算系统.
官方文档: http://storm.apache.org
中文文档: http://storm.apachecn.org

ApacheCN 最近组织了翻译 Storm 1.1.0 中文文档 的活动,整体 翻译进度 为 96%.
感谢大家参与到该活动中来
感谢无私奉献的 贡献者,才有了这份 Storm 1.1.0 中文文档
感谢一路有你的陪伴,我们才可以做的更好,走的更快,走的更远,我们一直在努力 。。。

网页地址: http://storm.apachecn.org/releases/cn/1.1.0/
github: https://github.com/apachecn/storm-doc-zh

如果您有任何意见建议,问题反馈,或者也想参与该翻译,或者想成为该项目的负责人,麻烦联系企鹅: 1042658081
技术交流企鹅群: 214293307

学习方法

  1. Storm 怎么学习,怎么入门 ?

    我只能悄悄的告诉你,跟着中文文档走,把文档看一遍先,文档中的概念,例子什么的先弄懂,基本上就入门了

  2. Storm 如何成为大神呢?

    先看看大佬们的 blog 学习下,多在群里面跟别人讨论下

文档内容目录

NOTE(注意)

在最新版本中, class packages 已经从 “backtype.storm” 改变成 “org.apache.storm” 了, 所以使用旧版本编译的 topology 代码不会像在 Storm 1.0.0 上那样运行了. 通过以下配置提供向后的兼容性

client.jartransformer.class: "org.apache.storm.hack.StormShadeTransformer"

如果要运行使用较旧版本 Storm 编译的代码, 则需要在 Storm 安装中添加上述配置. 该配置应该添加到您用于提交 topologies(拓扑)的机器中.

更多细节, 请参阅 https://issues.apache.org/jira/browse/STORM-1202.

Storm 基础

  • Javadoc
  • 概念
  • 调度器
  • 配置
  • 保证消息处理
  • Daemon(守护进程)容错
  • 命令行 client(客户端)
  • REST API
  • 理解 Storm topology 的 parallelism(并行度)
  • FAQ

Layers on Top of Storm

Storm Trident

Trident 是 Storm 的另一个 interface(接口).
它提供了 exactly-once(仅且一次)处理, “transactional(事务性的)” datastore persistence(数据存储持久化), 以及一些常见的 stream analytics operations(流式分析操作).

  • Trident 教程 – 基础的概念和预排工作
  • Trident API 概述 – 针对 transforming(转换)和 orchestrating 数据的操作
  • Trident State(状态) – exactly-once(仅且一次)处理以及 fast(快速的), persistent aggregation(持久化的聚合)
  • Trident spouts – transactional(事务性的)和 non-transactional(非事务性的)数据引入
  • Trident RAS API – 与 Trident 一起使用 Resource Aware Scheduler .

Storm SQL

该 Storm SQL 的集成可以让用户在 Storm 的 streaming data(流式数据)上来运行 SQL 查询.

NOTE(注意): Storm SQL 是一个 experimental(实验性的) 功能, 所以 Storm SQL 的结构和所支持的功能在以后可能会发生变化.
但是小的变化不会影响用户体验. 在引入 UX 更改时, 我们会及时通知用户.

  • Storm SQL 概述
  • Storm SQL 示例
  • Storm SQL 文献
  • Storm SQL 结构

Flux

  • Flux Data Driven Topology Builder

Storm 安装和部署

  • 安装一个 Storm 集群
  • Local mode(本地模式)
  • 问题排查
  • 在生产 cluster(集群)上运行 topologies(拓扑)
  • 构建 Storm with Maven
  • 安装 Secure(安全的)Cluster(集群)
  • CGroup 的实施
  • Pacemaker 针对大集群减低在 zookeeper 上的负载
  • Resource Aware Scheduler(资源意识调度器)
  • Daemon Metrics/Monitoring(守护进程的度量/监控)
  • Windows 平台的用户指南

Storm 中级

  • Serialization(序列化)
  • Common patterns(常见模式)
  • Clojure DSL
  • 与 Storm 一起使用非 JVM 的语言
  • 分布式的 RPC
  • Transactional topologies(事务性的拓扑)
  • Hooks(钩子)
  • Metrics(度量)
  • State Checkpointing
  • Windowing(窗口操作)
  • Joining Streams
  • Blobstore(Distcahce)

Storm 调试

  • Dynamic Log Level Settings
  • Searching Worker Logs
  • Worker Profiling
  • Event Logging

Storm 与外部系统, 以及其它库的集成

  • Apache Kafka 集成, 新的 Kafka Consumer(消费者)集成
  • Apache HBase 集成
  • Apache HDFS 集成
  • Apache Hive 集成
  • Apache Solr 集成
  • Apache Cassandra 集成
  • JDBC 集成
  • JMS 集成
  • Redis 集成
  • Event Hubs 集成
  • Elasticsearch 集成
  • MQTT 集成
  • Mongodb 集成
  • OpenTSDB 集成
  • Kinesis 集成
  • Druid 集成
  • Kestrel 集成

Container, Resource Management System Integration

  • YARN 集成, 通过 Slider 集成 YARN
  • Mesos 集成
  • Docker 集成
  • Kubernetes 集成

Storm 高级

  • 为 Storm 定义非 JVM 语言的 DSL
  • 多语言协议(如何为其它语言提供支持)
  • 实现文档

结束感言

ApacheCN

翻译过程中,大家有说有笑,有时候大家自己也不太懂,关键字啥的都会搞错,完全看不懂,一脸懵逼,醉了 。。。
但总算是把这份中文文档给弄好了吧,也算是对大家,或者对自己有一个交代,没有半途而废吧!~~~
希望大家可以一起走的更快,走的更远 。。。

如果您有任何意见建议,问题反馈,或者也想参与该翻译,或者想成为该项目的负责人,麻烦联系企鹅: 1042658081
技术交流企鹅群: 214293307

阅读全文
0 0
原创粉丝点击