【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用021-Flink中OutFormat设置(Scala版)001
来源:互联网 发布:开淘宝店物流怎么弄 编辑:程序博客网 时间:2024/06/03 03:44
一、MultipleTextOutputFormat设置一
使用DataSet的key作为文件名称,将DataSet输出到多个文件中。
1.自定义MultipleTextOutputFormat
package code.book.batch.outputformat.scalaimport org.apache.hadoop.io.NullWritableimport org.apache.hadoop.mapred.lib.MultipleTextOutputFormatclass MultipleTextOutputFormat001[K, V] extends MultipleTextOutputFormat[K, V] { /** * 此方法用于产生文件名称,这里将key_DateTime直接作为文件名称 * * @param key DataSet的key * @param value DataSet的value * @param name DataSet的partition的id(从1开始) * @return file的name */ override def generateFileNameForKeyValue(key: K, value: V, name: String): String = key.asInstanceOf[String] /** * 此方法用于产生文件内容中的key,这里文件内容中的key是就是DataSet的key * * @param key DataSet的key * @param value DataSet的value * @return file的key */ override def generateActualKey(key: K, value: V): K = NullWritable.get().asInstanceOf[K] /** * 此方法用于产生文件内容中的value,这里文件内容中的value是就是DataSet的value * * @param key DataSet的key * @param value DataSet的value * @return file的value */ override def generateActualValue(key: K, value: V): V = value.asInstanceOf[V]}
2.自定义MultipleTextOutputFormat测试入口
package code.book.batch.outputformat.scalaimport org.apache.flink.api.scala.hadoop.mapred.HadoopOutputFormatimport org.apache.flink.api.scala.{ExecutionEnvironment, _}import org.apache.hadoop.fs.Pathimport org.apache.hadoop.mapred.{FileOutputFormat, JobConf}/** * hadoop fs -text /output/flink/MultipleTextOutputFormat/scala/001/lisi */object MultipleTextOutputFormat001Test { def main(args: Array[String]) { //1.创建批处理环境 val env = ExecutionEnvironment.getExecutionEnvironment //2.准备数据 val data1 = env.fromCollection(List(("zhangsan", "120"), ("lisi", "123"), ("zhangsan", "309"), ("lisi", "207"), ("wangwu", "315"))) //3.多路径输出的HadoopOutputFormat val multipleTextOutputFormat = new MultipleTextOutputFormat001[String, String]() val jobConf = new JobConf() val filePath = "hdfs://qingcheng11:9000/output/flink/MultipleTextOutputFormat/scala/001" FileOutputFormat.setOutputPath(jobConf, new Path(filePath)) val format = new HadoopOutputFormat[String, String](multipleTextOutputFormat, jobConf) //4.将数据输出出去 data1.output(format) //5.触发批处理执行 env.execute() }}
3.自定义MultipleTextOutputFormat执行效果
4.查看hdfs文件
阅读全文
0 0
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用021-Flink中OutFormat设置(Scala版)001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用022-Flink中OutFormat设置(Scala版)002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用023-Flink中OutFormat设置(Scala版)003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用015-Flink中广播变量和分布式缓存001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用017-Flink中参数传递和容错设定001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用013-Flink在批处理中常见的sink和source001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用014-Flink在批处理中常见的sink和source002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用016-Flink中广播变量和分布式缓存002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用018-Flink中参数传递和容错设定002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用019-Flink中参数传递和容错设定003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用020-Flink中参数传递和容错设定004
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用001-Flink的内存管理001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用004-Flink的作业调度情况001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用002-Flink的内存管理002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用003-Flink的内存管理003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用005-Flink的作业调度情况002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用006-Slot和Parallelism的深入分析001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用007-Slot和Parallelism的深入分析002
- EL表达式全攻略
- Kafka端到端审计
- apache
- 深度学习论文资料集合
- h5拖拽在兼容火狐与IE的实现需要注意的事
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用021-Flink中OutFormat设置(Scala版)001
- 使用jenkins配置job-设置定时执行
- eclipse 创建maven web错误Cannot change version of project facet Dynamic Web Module to 3.1.
- 最简单的Vuex示例
- 新思固件整合方法
- ModelMapper
- c++需要补充的知识点整理
- osgEarth矢量属性过滤案例 40. feature_custom_filters.earth
- Android图片写成圆形ImageView