【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用020-Flink中参数传递和容错设定004
来源:互联网 发布:博弈矩阵怎么看 编辑:程序博客网 时间:2024/06/07 00:59
二、flink中的容错设置
flink支持容错设置,当操作失败了,可以在指定重试的启动时间和重试的次数.有两种设置方式1.通过配置文件,进行全局的默认设定2.通过程序的api进行设定。
1.通过配置flink-conf.yaml来设定全局容错
设定出错重试3次execution-retries.default: 3设定重试间隔时间5秒execution-retries.delay: 5 s
2.程序的api进行容错设定
flink支持通过api设定容错信息//失败重试3次env.setNumberOfExecutionRetries(3)//重试时延 5000 millisecondsenv.getConfig.setExecutionRetryDelay(5000)
执行程序
package code.book.batch.sinksource.scalaimport org.apache.flink.api.scala.{ExecutionEnvironment, _}object FaultTolerance001 { def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment //失败重试3次 env.setNumberOfExecutionRetries(3) //重试时延 5000 milliseconds env.getConfig.setExecutionRetryDelay(5000) val ds1 = env.fromElements(2, 5, 3, 7, 9) ds1.map(_ * 2).print() }}
阅读全文
0 0
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用020-Flink中参数传递和容错设定004
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用017-Flink中参数传递和容错设定001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用018-Flink中参数传递和容错设定002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用019-Flink中参数传递和容错设定003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用013-Flink在批处理中常见的sink和source001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用014-Flink在批处理中常见的sink和source002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用015-Flink中广播变量和分布式缓存001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用016-Flink中广播变量和分布式缓存002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用021-Flink中OutFormat设置(Scala版)001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用022-Flink中OutFormat设置(Scala版)002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用023-Flink中OutFormat设置(Scala版)003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用004-Flink的作业调度情况001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用009-Slot和Parallelism的深入分析004
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用001-Flink的内存管理001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用002-Flink的内存管理002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用003-Flink的内存管理003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用005-Flink的作业调度情况002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用006-Slot和Parallelism的深入分析001
- 银根收不收的逻辑
- leetcode 149. Max Points on a Line
- Alfred3 无法激活workflows解决方法
- LeetCode题库——AddTwoNumbers
- LAMP环境搭建系列之三:编译安装Apache httpd 2.4.29
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用020-Flink中参数传递和容错设定004
- DB2常用函数
- mysql启动脚本——指定数据目录并指定配置文件
- linux内核调试方法,交叉编译程序出现Illegal instruction的调试方法
- 给 Android 开发者的 RxJava 详解
- hexo 搭建博客
- 13 款开源全文检索引擎
- Golang实现词频统计
- 使用nvm管理不同版本的node与npm