关于Hadoop的GenericOptionsParser…
来源:互联网 发布:照片生成器软件 编辑:程序博客网 时间:2024/06/16 05:39
由于集群为hadoop配置了执行队列,所以如果我们程序写成下面这样的话:
我们在运行mapreduce的时候命令上要加 -D mapreduce.job.queuename参数
hadoop jar WordCount.jar WordCount.WordCount-Dmapreduce.job.queuename=root.default xrli/input xrli/output
如果实在想把这些参数都写到代码里面的话,就照着下面写:
这样运行的时候只要执行以下命令就行了。
hadoop jar WordCount.jarWordCount.WordCount
这里分析以下Hadoop的GenericOptionsParser类
它能够解析命令行参数的基本类。它能够辨别一些标准的命令行参数。
比如这里的-D mapreduce.job.queuename 就被它识别了,并且配置到了参数文件中去,而函数 getRemainingArgs()就是获取了剩余的两个参数"xrli/STJoin_in","xrli/STJoin_out",并且将它们组合为数组otherArgs。
它能够识别的参数包括: fs jtlibjars files archives D tokenCacheFile
http://www.cnblogs.com/caoyuanzhanlang/archive/2013/02/21/2920934.htmlhttp://www.cnblogs.com/caoyuanzhanlang/archive/2013/02/21/2920934.html
0 0
- 关于Hadoop的GenericOptionsParser…
- hadoop初学之--------GenericOptionsParser解析器
- Hadoop系列之ToolRunner与GenericOptionsParser用法
- 关于Hadoop的shuffle
- 关于Hadoop的shuffle
- 关于Hadoop的shuffle
- 关于hadoop的基本知识
- hadoop介绍 - 关于hadoop的文件权限
- 关于hadoop的一些记录
- 关于Hadoop的InputFormat类
- 关于Hadoop的InputFormat类
- 关于Hadoop 的配置信息
- 关于hadoop的安全模式
- hadooper-关于Hadoop的shuffle
- 关于Hadoop的五个常见问题
- 关于Windows的hadoop搭建
- 关于Hadoop配置的补充
- 关于hadoop端口的问题
- Linux screen
- python 连接mysql
- python将句子中两个子串位置互换的…
- 重要的Python库(利用Python进行数据分析笔记)
- scala 重点语法总结
- 关于Hadoop的GenericOptionsParser…
- 如何利用Nodexl画图——以绘制…
- 3.11
- 社交网络分析:网络中心性
- Spark map 处理表格数据
- 66.Binary Tree Preorder Traversal-二叉树的前序遍历(容易题)
- Spark Stream 教程
- Spark SQL重点
- Spark mlib FPGrowth&nb…