hadoop streamig 运行c/c++程序 少读一个字符
来源:互联网 发布:时光知味 编辑:程序博客网 时间:2024/06/04 21:48
Hadoop支持其他语言编程,可使用Streaming的通用API。
使用方式:
$/bin/hadoop jar $hadoophome/shared/streaming/hadoop-stream.xxx.jar -input /input/test.txt -output /output/log.out -mapper ./progm -file /path/progm -reducer ./progr -file /path/progr
说明:
-input /input/test.txt //表示在hdfs上的输入文件
-output /output/log.out //表示在hdfs上的输出目录,如果执行成功再long.out目录下产生part-00000文件
-mapper ./progm //表示执行map使用的可执行文件progm
-reducer ./progr //表示执行reducer使用的可执行文件progr
-file /path/prog //表示可执行文件所在的目录
执行时可加入下列参数
-D mapred.child.java.opts=-Xmx2000m //指定mapred执行时可使用的内存大小2G
-D stream.map.input.ignoreKey=true //map读入输入文件时,忽略关键字,只读入value
-inputformat MySelfInputFormat //使用自定义的输入格式,默认的输入格式在0d0a的时候,只读0d,不读0a.
-jobconf mapred.map.tasks=1 //指定map的任务数量
- hadoop streamig 运行c/c++程序 少读一个字符
- C++Builder 程序只运行一个实例
- 一个c程序编译运行的步骤
- c函数-读一个字符
- php调用一个c程序,c程序再调用另一个c程序在后台不间断运行
- c/c++,输入一个字符
- c/c++,输入一个字符
- 字符移动c程序
- 实验1_了解C程序的运行环境和运行一个C程序的方法
- c++-最后一个字符
- C程序运行~~
- C程序运行
- 【C#】程序运行时间
- Unix运行c程序
- notepad++运行c程序
- Eclipse运行C程序
- C程序运行过程
- c语言:编写一个程序,可以直接接收键盘字符
- Struts2的struts.xml配置中的namespace的使用
- Android registerContentObserver 接口监视数据库变化
- Java JDBC Thin Driver 连接 Oracle 三种方法说明
- 回调函数的作用
- PHP从零单排(十二)使用PHP连接MySQL数据库
- hadoop streamig 运行c/c++程序 少读一个字符
- Aspose.Words for .NET示例大全免费免积分下载
- 深入了解Struts2返回JSON数据的原理及具体应用范例
- http_build_query()的使用
- 李克强:建设长江经济带 确保一江清水绵延后世
- googleplaye 安装包大小限制
- QT Creator安装
- c++指针|指针入门
- ios各个版本的图标尺寸