跳转至

Flink 简介

时间:2020/2/6 16:05:38

参考：

  1. 官方中文文档
  2. Flink 在阿里的应用

Flink 是一种流处理框架。对数据流进行转换和处理。Flink支持并行和分布式的运行数据处理程序。

抽象层级#

  1. SQL:
  2. Tabels API:
  3. Data Stream API/Data Set API:
  4. Stateful Stream Processing:
  • Flink Master：一个管理任务提交等。
  • Flink TaskManagers: 一个或多个负责执行具体的任务。

容灾#

通过检查点和流重放实现容灾。

事件驱动应用程序#

事件驱动应用相对于传统分层应用来说有一下有点：

  1. 组件升级方便，不会有牵一发而动全身的问题。
  2. 扩展方便，包含容量和应用规模扩展。
  3. 高性能，基于本地资源进行业务处理，结合集群方式提供高吞吐量和低延迟。
  4. Flink 提供精确的只消费一次支持，结合 save point 实现容错功能。

数据分析应用#

  1. 支持实时的持续不断的数据分析，计算结果被存储在外部存储，或者应用内部。

数据管道应用#

数据提取 -> 转换 -> 加载 类的应用被称为数据管道应用。