python hadoop 在streaming中获取文件名的方法
来源:互联网 发布:网页游戏挂机软件 编辑:程序博客网 时间:2024/05/01 08:59
在hadoop的开发中,经常要根据streaming中不同的文件名做不同的处理,需要获取文件名,可参考java
版本中获取文件名的方法:
1、hadoop上在java开发可用:
FileSplit fileSplit = (FileSplit)reporter.getInputSplit();
String fileName = fileSplit.getPath().getName();
来获取文件名称。
2、同样python开发时,可以这么用:
import os
os.environ["map_input_file"]
这里的 map_input_file 相当于map.input.file
0 0
- python hadoop 在streaming中获取文件名的方法
- python hadoop 在streaming中获取文件名的方法 (参考java )适用: MRjob
- python hadoop 在streaming中获取文件名的方法 (参考java )适用: MRjob
- 利用virtualenv在Hadoop Streaming中使用完全个性化的Python解释器
- Hadoop 中 获取 输入文件名
- hadoop 代码中获取文件名
- hadoop 代码中获取文件名
- hadoop中Streaming的使用
- 在Hadoop中使用Streaming编写MapReduce
- hadoop自定义SdfTextInputFormat用在streaming中
- Hadoop Map中获取当前spilt文件名
- Hadoop Streaming for Python
- python获取文件所在目录和文件名,以及检索当前文件名的方法
- hadoop中的Mapper实现类中map方法获取文件名时报错
- Hadoop的map获取当前spilt文件名
- 用python + hadoop streaming 编写分布式程序的本地调试方法
- android应用中获取文件名的两个方法
- 从文件路径中获取文件名的方法
- CZY的工程
- poj 2002 Squares
- 北国城,徒留旧梦
- 新浪微博SDK抛出异常-[__NSDictionaryM weibosdk_WBSDKJSONString]: unrecognized selector sent to instance 0x7fb
- 关于编码ansi、GB2312、unicode与utf-8的区别(带源码下载)
- python hadoop 在streaming中获取文件名的方法
- Class^=,Class*= ,Class$=含义
- SQL Server数据库
- ZigBee网络体系结构(图文)
- Android网络编程之如何去掉WebView【浏览器】中的进度条和网址
- CallableStatement的实例
- 字符的排序(冒泡排序,选择排序)
- 如何应用QQ分享
- Codeforces 570 B. Simple Game ( 概率 )