Flink入门教程--Component Stack

来源:互联网 发布:激光内雕机软件 编辑:程序博客网 时间:2024/05/21 04:43

原谅链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/components.html#component-stack

作为一个软件解决方案,Flink是一个分层系统。不同层次之间彼此构建,并提高他们接受的程序表现的抽象级别:

  • 在Runtime 层中接受JobGraph形式的程序。JobGraph是一个具有消耗和产生数据流的任意通用并行数据流。
  • DataStream API和DataSet API都能通过编译生成JobGraphs程序。DataSet API使用optimizer ,DataStream API使用stream builder,来确定程序的最佳执行方式。
  • JobGraph根据Flink中可用的各种部署选项(例如本地,远程,YARN等)来执行程序 。
  • 使用与Flink捆绑在一起的Libraries 和API生成DataSet或DataStream API程序,这些程序是用于查询的逻辑表、Flink机器学习、和用于图形处理的Gelly。

这里写图片描述