设置hadoop的client端的jvm参数

来源:互联网 发布:吴师自通 知乎 编辑:程序博客网 时间:2024/06/05 05:45

以此来纪念自己的解决方法:

今天遇到一个问题:怎么设定hadoop提交程序时client的jvm大小(即hadoop jar 这个提交程序jvm的大小)。
网上兜了一大圈,都是说什么设定map或Reduce任务的jvm的大小。可这个不是我所想要的,最后改变了收索关键词后(hadoop client jvm)发现了一片文章讲述了这样一个场景,跟着其指示做了一下,发现真的可以。
下面就是设定:
首先要找到我们安装好hadoop后我们的hadoop-env.sh文件在哪,cdh(4.2.0)的一般在/etc/hadoop/conf 下面。
其二,打开这个hadoop-env.sh文件,找到一个
# The following applies to multiple commands (fs, dfs, fsck, distcp etc)
export HADOOP_CLIENT_OPTS="-Xmx4294967296 -Xms4294967296 $HADOOP_CLIENT_OPTS"
这个export开始可能是被注释掉了,把注释去掉,添加自己需要的jvm参数
最后,保存这个修改即可。

  这样我们就可以在hadoop jar时享受自己调节jvm的参数了。

0 0
原创粉丝点击