Flink读写数据(hdfs)(DataSet)

来源:互联网 发布:章泽天 见过本人 知乎 编辑:程序博客网 时间:2024/06/11 15:49

读数据

DataSet<String> hdfslines=env.readTextFile("your hdfs path")

写数据

hdfslines.writeAsText("your hdfs path")

以上会根据你的默认的线程数来生成多少个分区文件,如果你想最后生成一个文件的话,可以在后面使用setParallelism(1),这样最后就只会生成一个文件了。

原创粉丝点击