hadoop2.4.0在macos下编译源码

来源：互联网发布：战舰少女r魔盒数据库编辑：程序博客网时间：2024/06/06 02:54

环境:

1、OSX 10.9.4

2、hadoop2.4.0

背景：由于在apache官方下载的hadoop在osx下会出现

PROBLEM:WARN util.NativeCodeLoader: Unable toloadnative-hadoop library for your platform... usingbuiltin-java classes whereapplicable

原因：apache官方只提供32bit的版本。

在这边方便相关童鞋，将已编译好的源码提供到了网盘上提供大家下载。

网盘：http://pan.baidu.com/s/1dDH3elr

提供一些在安装环境中出现的错误：

1、osx Unable to load realm info from SCDynamicStore

在hadoop-env.sh中添加

HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.conf=/dev/null"

2、File /input/file.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 2datanode(s) running and 2 node(s) are excluded in this operation.

1）、首先检查是否已经关闭Master和Slave的防火墙

2）、需要检查yarn-site.xml相关属性配置

3、执行hadoop例子程序wordcount的时候，出现job卡着不动，INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl: appattempt_1408090295921_0001_000001 State change from SUBMITTED to SCHEDULED

1）、如网上所述，http://bbs.csdn.net/topics/390738767，作相应检查

2）、而我这边是因为yarn-site.xml相关属性拼写错误。

0 0