Hadoop启动、作业提交及错误修改
来源:互联网 发布:linux为什么是企鹅 编辑:程序博客网 时间:2024/06/14 12:27
一、启动Hadoop
进入hadoop目录下,
$ cd sbin
$ ./start-all.sh
二、作业提交
以jar包为例,我们可以到/share/hadoop/mapreduce/
目录下看到有hadoop-mapreduce-examples-2.7.2.jar
的示例。
提交作业
hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 5 5
提交完成后,我们可以去平台上查看该作业状态。
三、错误修改
1、找不到命令
hadoop:command not found
解决办法:确认hadoop命令的位置,从该命令目录进行作业提交(一般为hadoop/bin目录下),或把hadoop命令添加到系统变量。
2、提交作业失败,requested memory > max configured
Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=xxx
很明显,我们分配的内存过小。
解决办法:找到hadoop/etc
目录下的yarn-site.xml
,打开文件,把resource.memory-mb附近值修改为4096或更大。
1 0
- Hadoop启动、作业提交及错误修改
- hadoop 作业提交
- Hadoop作业提交分析
- Hadoop作业提交跟踪
- Hadoop作业提交解决
- Hadoop作业提交之客户端作业提交
- Hadoop启动操作过程及常见错误
- 【Hadoop代码笔记】Hadoop作业提交之客户端作业提交
- hadoop之作业提交过程
- Hadoop 作业提交、查看、终止
- Hadoop作业提交终极解决
- Hadoop的作业提交过程
- Hadoop作业提交的方法
- hadoop作业提交源码分析
- Hadoop作业提交源码分析
- Hadoop提交作业------>hadoop工作流程
- hadoop客户端提交作业错误:java.lang.RuntimeException: java.lang.ClassNotFoundException: Job$Mappe
- hadoop修改启动主机名
- Makefile常用调试方法
- eclipse中将maven工程变成普通的web工程,添加到tomcat
- Facebook面试题 Moving positive, negative and zeros in an array
- Yii2中如何使用CodeCeption
- 安装和使用Google perftools
- Hadoop启动、作业提交及错误修改
- SharePoint2013简单部署
- 27 Python 代码调试技巧
- memcachedb让memcache的数据持久化
- C++学习笔记
- Clang Static Analyzer源码分析说明
- iOS动画中的枚举UIViewAnimationOptions
- Spring学习笔记-C7-SpringMVC高级技术
- 品牌形象设计之企业品牌的塑造