MapReduce 缓存文件
来源:互联网 发布:软件架构怎么做 编辑:程序博客网 时间:2024/06/17 06:33
/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOException,InterruptedException { BufferedReader bufferedReader = new BufferedReader(new FileReader("文件名")) }
// 指定需要缓存一个文件到所有的maptask运行节点工作目录 /* job.addArchiveToClassPath(archive); */// 缓存jar包到task运行节点的classpath中 /* job.addFileToClassPath(file); */// 缓存普通文件到task运行节点的classpath中 /* job.addCacheArchive(uri); */// 缓存压缩包文件到task运行节点的工作目录 /* job.addCacheFile(uri) */// 缓存普通文件到task运行节点的工作目录 // 将产品表文件缓存到task工作节点的工作目录中去 job.addCacheFile(new URI("file:/D:/srcdata/mapjoincache/pdts.txt")); //map端join的逻辑不需要reduce阶段,设置reducetask数量为0 job.setNumReduceTasks(0);
阅读全文
0 0
- MapReduce 缓存文件
- mapreduce中读取文件并缓存
- mapreduce分布式缓存
- MapReduce中的分布式缓存使用
- 18.MapReduce中的分布式缓存
- mapreduce的缓存(addCacheFile)使用
- 实验9 MapReduce-分布式缓存
- mapReduce使用分布式缓存机制
- mapreduce 读写lzo文件
- MapReduce TopK 文件
- MapReduce TopK 文件
- MapReduce多文件输出
- MapReduce之多文件输出
- mapreduce maven文件
- MapReduce读写orc文件
- MapReduce读取sequencefile文件
- MapReduce(八): MapReduce文件切割算法
- 文件缓存
- 如何在Vue Project中使用vue-apollo
- 贪心算法
- 2017年首份中美数据科学对比报告,Python受欢迎度排名第一,美国数据工作者年薪中位数高达11万美金
- translate3d(x,y,z)在页面布局中的使用
- Hibernate5配置及实现简单增删改查
- MapReduce 缓存文件
- Matting
- Android popupwindow动画的使用
- 数字图像处理笔记
- vue环境安装
- [App] NIS 服务器搭建
- nginx 伪静态用于TP框架隐藏入口文件
- Linux修改MySQL下root权限来允许远程连接
- 龙举直播电商api开发