shell中使用hadoop进行结果文件的合并的命令

来源:互联网 发布:facebook免费翻墙软件 编辑:程序博客网 时间:2024/06/02 01:53

操作命令为:

hdfs dfs -getmerge /home/blast_test/output /home/blast_test/output_merge.txt

使用方法:hadoop fs -getmerge <src> <localdst> [addnl]

接受一个源目录和一个目标文件作为输入,并且将源目录中所有的文件连接成本地目标文件。

addnl是可选的,用于指定在每个文件结尾添加一个换行符。

原创粉丝点击