hadoop异常问题解决
来源:互联网 发布:网络变压器加工图 编辑:程序博客网 时间:2024/06/16 22:51
Q1、NameNode报: java.lang.OutOfMemoryError: GC overhead limit exceeded
原因:经查看hadoop 堆内存只有4G,而文件+块数有2千万个,每个占用150B,需要3G左右内存,另外namenode还需要负责与DATANODE通信等等,故导致OOM
解决办法:
调整conf/hadoop-env.sh中的堆内存大小:
export HADOOP_HEAPSIZE=6000
export HADOOP_NAMENODE_INIT_HEAPSIZE=6000
然后重启hadoop namenode :
/home/hadoop/hadoop-2.2.0/sbin/hadoop-daemon.sh start namenode
另外需尽量合并小文件、删除不需要的数据,减少 文件数和块数。
Q2:yarn启用日志汇聚问题
当自定义container日志存放目录(yarn.nodemanager.remote-app-log-dir参数指定),提示以下信息:
Logs not available for attempt_1506090137795_0001_m_000000_0. Aggregation may not be complete, Check back later or try the nodemanager at slave2:10929
<!--开启日志汇聚--><property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>864000</value>
</property>
<property>
<name>yarn.log-aggregation.retain-check-interval-seconds</name>
<value>-1</value>
</property>
<!--
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/hadoop-yarn/staging/contains</value>
<description>default dir /tmp/logs 目前发现必须使用默认目录,自定义目录无法汇聚</description>
</property>
-->
采取默认目录/tmp/logs后正常,尚未发现具体原因。
另外必须重启所有hdfs+yarn服务后生效,通过yarn rmadmin -refreshNodes来刷新配置并无作用
阅读全文
0 0
- hadoop异常问题解决
- hadoop问题解决
- Mapreduce从HBASE抽取数据,生成搜索下拉服务数据,hadoop jar 调用异常问题解决
- hadoop 执行问题解决
- hadoop配置问题解决汇总
- 两个hadoop的问题解决
- 编译hadoop 0.23 问题解决
- hadoop job运行问题解决
- hadoop namenodeID不一致问题解决
- hadoop问题解决方法
- hadoop Unhealthy Nodes问题解决
- hadoop Unhealthy Nodes问题解决
- hadoop启动不正常问题解决
- Oracle异常问题解决方案
- 日常开发异常问题解决
- 各种异常问题解决
- android 异常问题解决
- IOS CopyPNGFile 异常问题解决
- excel导出
- js清空数组的三种方式
- BroadcastReceiver广播判断网络
- Scala:fold,foldLeft和foldRight区别与联系
- java.lang.NoClassDefFoundError
- hadoop异常问题解决
- ps -aux|grep 详细信息
- Java 集合深入理解(9):Queue 队列
- HDOJ1024 Max Sum Plus Plus(区间DP)
- PHP实现模糊搜索中文分词
- windows 下使用nginx对mysql进行负载均衡
- 第一次机房收费系统总结
- JavaScript实现-检查字符串结尾-Confirm the Ending
- 猫捉老鼠 FZU