python hadoop 在streaming中获取文件名的方法

来源:互联网 发布:网页游戏挂机软件 编辑:程序博客网 时间:2024/05/01 08:59
在hadoop的开发中,经常要根据streaming中不同的文件名做不同的处理,需要获取文件名,可参考java
 版本中获取文件名的方法:
1、hadoop上在java开发可用:
 
FileSplit fileSplit = (FileSplit)reporter.getInputSplit();
String fileName = fileSplit.getPath().getName();
来获取文件名称。

2、同样python开发时,可以这么用:

import os
 
os.environ["map_input_file"]
这里的 map_input_file 相当于map.input.file
0 0
原创粉丝点击