[MapReduce] 如何向map和reduce脚本传递参数,加载文件和目录

来源:互联网 发布:如何把淘宝网店做好 编辑:程序博客网 时间:2024/05/19 21:17
本文主要讲解三个问题:
      1 使用Java编写 MapReduce 程序时,如何向map、reduce函数传递参数。
      2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时,如何向map、reduce脚本传递参数
      3 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时,如何向map、reduce脚本传递文件或文件夹
         (1) streaming 加载本地单个文件
         (2) streaming 加载本地多个文件
         (3) streaming 加载本地目录
         (4) streaming编程时在mapreduce脚本中读 hdfs 文件
         (5) streaming编程时在mapreduce脚本中读 hdfs 目录


详见我的有道笔记:http://note.youdao.com/share/?id=c0742ed1005880a85075a615abddf474&type=note


吐槽一下 CSDN 博客不支持图片直接粘贴!


原创粉丝点击