Hadoop2.6.0遇到的问题
来源:互联网 发布:mastercam多轴编程教程 编辑:程序博客网 时间:2024/05/16 03:30
一、如果配置了HDFS的federation,使用eclipse插件配置完M/R Master的端口(50020)和DFS Master的端口(9000)后,无法连接到HDFS看远程目录结构
解决办法:切换到Advanced parameters标签,修改fs.defaultFS为hdfs://192.168.0.14:9000/tmp
二、使用Maven开发hadoop2 mapreduce时,下载不了hadoop2.6.0的一些相关包的解决办法
在pom.xml中增加如下配置:
<repositories>
<repository>
<id>maven.oschina.net</id>
<url>http://maven.oschina.net/content/groups/public/</url>
</repository>
</repositories>
三、引入hadoop2的mapreduce工程报错Missing artifact jdk.tools:jdk.tools:jar:1.7
在pom.xml文件中增加如下配置:
<dependency>
<groupId>jdk.tools</groupId>
<artifactId>jdk.tools</artifactId>
<version>1.7</version>
<scope>system</scope>
<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
</dependency>
四、Container *** is running beyond virtual memory limits. Current usage:498.0MB od 1GB physical memory used;2.7GB of 2.1GB virtual memory used.Killing container.
修改yarn-site.xml中yarn.scheduler.minimum-allocation-mb(默认1024)为2048或更大,根据程序需求调整。
五、Container *** is running beyond physical memory limits. Current usage: 2.5 GB of 2.5 GB physical memory used; 3.1 GB of 12.5 GB virtual memory used. Killing container.
在提交作业的命令中加入hadoop jar <jarName> -Dmapreduce.reduce.memory.mb=4096或hadoop jar <jarName> -Dmapreduce.map.memory.mb=4096
或者修改mapred-site.xml中的mapreduce.map.memory.mb(默认1024)或mapreduce.reduce.memory.mb(默认1024)参数。
六、org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space
修改mapred-site.xml,增加如下配置:
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m</value>
</property>
七、 [ContainerLauncher #4] org.apache.hadoop.ipc.Client: Retrying connect to server: data-17/192.168.0.17:37595. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
[ContainerLauncher #4] org.apache.hadoop.ipc.Client: Retrying connect to server: data-17/192.168.0.17:37595. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)......
可能是防火墙没有关闭,关闭防火墙可以解决。(目前没有找到相应的通信端口,若找到开启端口即可(37595????),不需要关闭防火墙)
- Hadoop2.6.0遇到的问题
- 大数据学习--使用Hadoop2.6.0遇到的相关问题
- hadoop2.0 ha failover 遇到的问题
- 创建hadoop2.2.0遇到的问题
- hadoop2.x.x格式化遇到的问题
- hadoop2.6.3配置及遇到的问题
- hadoop2.2.0 的fairscheduler 遇到的一个问题
- hadoop2.0 遇到的问题 (持续更新)
- spark结合Hadoop2.2.0 HA使用中遇到的问题
- 配置hadoop2.2.0时,遇到的一些问题
- hbase0.96+hadoop2.2分页中遇到的问题
- hadoop2.7.3集成eclipse遇到的问题及解决方案
- centos7 安装hadoop2.7.3遇到的各种问题
- hadoop2.7.3 mahout 0.9 遇到问题
- windows 8编译安装hadoop2.5中遇到的一些问题
- hadoop2.7.3 部署和eclipse环境搭建遇到的问题及解决方案
- hbase1.2.3+zookeeper3.4.9+hadoop2.7.3完全分布式部署遇到的问题
- hadoop2.2.0中遇到的错误
- iOS 关于应用能打包但是不能提交至App Store的解决办法
- Hadoop mapreduce自定义分组RawComparator
- 菜鸟的Linux历程-Apache源码包安装及知识点摘要
- Gson解析(4)——Map处理数据(下)
- Hadoop2.6.0防止误删机制-Trash
- Hadoop2.6.0遇到的问题
- Gson解析(5)——实际开发中的特殊需求处理
- 【总结】Java基础总结⑸
- Hadoop命令大全
- 工作总结概述
- Hbase 源码分析之 Regionserver上的 Get 全流程
- Java Callable测试
- 我的XPath笔记
- Gson解析(6)——注册TypeAdapter及处理Enum类型