【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用019-Flink中参数传递和容错设定003
来源:互联网 发布:熊猫杀姐姐知乎 编辑:程序博客网 时间:2024/06/08 05:48
3.通过ExecutionConfig向Function传递参数
执行程序
package code.book.batch.sinksource.scalaimport org.apache.flink.api.common.functions.RichMapFunctionimport org.apache.flink.api.scala.{DataSet, ExecutionEnvironment, _}import org.apache.flink.configuration.Configuration/** * Globally via the ExecutionConfig * * * Flink also allows to pass custom configuration values to the ExecutionConfig * interface of the environment. Since the execution config is accessible in all * (rich) user functions, the custom configuration will be available globally in all functions. */object Parameters003scala { def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment //1.准备工人数据 case class Worker(name: String, salaryPerMonth: Double) val workers: DataSet[Worker] = env.fromElements( Worker("zhagnsan", 1356.67), Worker("lisi", 1476.67) ) //2.准备工作月份数据,作为参数用Configuration传递出去 val conf = new Configuration() conf.setString("month", "4") env.getConfig.setGlobalJobParameters(conf) //3.接受参数进行计算(如果要用Configuration传参,需要用RichFunction接受) workers.map(new RichMapFunction[Worker, Worker] { private var m = 0 override def open(parameters: Configuration): Unit = { super.open(parameters) //3.1获取Configuration传递过来的参数 val globalParams = this.getRuntimeContext.getExecutionConfig.getGlobalJobParameters m = globalParams.toMap.get("month").trim.toInt } override def map(w: Worker): Worker = { //3.2计算最新工人工资信息 Worker(w.name, w.salaryPerMonth * m) } }).print }}
执行效果
Worker(zhagnsan,5426.68)Worker(lisi,5906.68)
阅读全文
0 0
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用019-Flink中参数传递和容错设定003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用017-Flink中参数传递和容错设定001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用018-Flink中参数传递和容错设定002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用020-Flink中参数传递和容错设定004
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用013-Flink在批处理中常见的sink和source001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用014-Flink在批处理中常见的sink和source002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用015-Flink中广播变量和分布式缓存001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用016-Flink中广播变量和分布式缓存002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用023-Flink中OutFormat设置(Scala版)003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用021-Flink中OutFormat设置(Scala版)001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用022-Flink中OutFormat设置(Scala版)002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用003-Flink的内存管理003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用008-Slot和Parallelism的深入分析003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用001-Flink的内存管理001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用002-Flink的内存管理002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用004-Flink的作业调度情况001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用005-Flink的作业调度情况002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用006-Slot和Parallelism的深入分析001
- java并发编程学习(二) volatile
- Hdfs扩容操作
- 芝加哥公司DRW将在新加坡设置比特币交易点
- 高并发服务设计——缓存
- 《分布式资本链周刊》第二期
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用019-Flink中参数传递和容错设定003
- 使用MockMvc测试带有异步方法所踩的坑及解决办法
- git的使用
- linux -- tcpdump
- Delta RPMs disabled because /usr/bin/applydeltarpm not installed
- teamviewer 在 ubuntu 上的实现
- spring boot 多模块管理时,依赖注入bean失败
- GoEasy web推送
- Spring AOP几种方式的使用