如何将多个输入文件合并到hadoop中的一个文件

来源:互联网 发布:ods 打开软件 编辑:程序博客网 时间:2024/06/06 15:00

      在使用hadoop是,我们有时候需要将本地文件系统上的多个文件合并为hadoop文件系统上的一个文件,但是 hadoop文件系统本身的shell命令并不支持这样的功能,但是hadoop的put命令支持从标准输入读取数据,所以实现标题功能的hadoop命令如下:

cat localfile1 localfile2 | bin/hadoop fs -put /dev/fd/0 destfile