如何修改Hadoop客户端的堆大小
来源:互联网 发布:心蓝抢票软件下载 编辑:程序博客网 时间:2024/05/18 00:37
将集群中一台机器作为客户端,采用“hadoop jar my_jar”方式执行测试程序时,出现“java.lang.OutOfMemoryError: GC overhead limit exceeded”之类的提示。很明显,这是由于堆内存不足造成的,但是要注意的是客户端的堆,而不是服务器端的堆内存。
目前发现两种方式可以修改客户端的堆内存大小,假设需要修改的的堆内存为2000m:
1. 修改hadoop.sh文件,添加:JAVA_HEAP_MAX=-Xmx2000m;
2. 如果使用cloudera manager,在YARN的配置界面,”GateWay Default Group->hadoop-env.sh 的 Gateway 客户端环境高级配置代码段(安全阀)“中添加HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Xmx6000m",然后保存修改,部署客户端配置,重启YARN即可。
第一种方式下,使用ps my_jar_pid可以看到修改后的堆内存,但是第二种方式下看不到。
0 0
- 如何修改Hadoop客户端的堆大小
- 修改Hadoop的HDFS块大小
- JMeter的堆大小如何设置?
- Hadoop如何修改HDFS文件存储块大小
- Hadoop如何修改HDFS文件存储块大小
- MFC 如何修改BMP图片的大小
- 如何修改IIS上传文件的大小
- Matlab中如何修改字体的大小?
- 如何修改MFC主窗口的大小
- Hadoop作业JVM堆大小设置优化
- Hadoop作业JVM堆大小设置优化
- 如何修改SGA大小
- 如何修改SGA大小
- 在客户端如何修改ftp的用户密码
- Symbian如何扩展栈和堆的大小
- c++编程如何手动设定堆和栈的大小
- 堆大小的最大值
- 估计堆的大小
- 根据日期、时间和当地经纬度计算太阳天顶角和方位角的原理
- Write operations are not allowed in read-only mode (FlushMode.NEVER/MANUAL)
- makefile_shell
- Git Submodule使用完整教程
- Js内存泄漏及解决方案
- 如何修改Hadoop客户端的堆大小
- android开发中常用的Eclipse快捷键
- 设置自定义servlet在spring环境下的加载顺序
- AndroidManifest.xml配置文件详解
- Linux下递归遍历目录和文件
- 导入mysql数据库中文变为?号的问题
- ICSharpCode.SharpZipLib生成tar、tar.gz
- JAVA_WEB项目之在myecplise中配置SVN插件
- db2 sequence使用