mac安装hadoop可能遇到的问题

来源：互联网发布：女大十八变知乎编辑：程序博客网时间：2024/04/29 07:43

自己本地装了hadoop2.7.3,遇到一些小问题，在这里记录一下希望对新手有所帮助。

1.路径

一般mac的软件都是默认安装到/Applications/下的，如果有想找自己安装程序原文件的可以参考下。

路径其实是比较烦人的，看上去很简单，找不到文件，玩毛线啊！

mac的hadoop默认安装到/usr/local/Cellar/hadoop/下

配置文件在/usr/local/Cellar/hadoop/2.x/libexec/etc/hadoop/下

启动文件在/usr/local/Cellar/hadoop/2.x/sbin/下

日志文件在/usr/local/Cellar/hadoop/2.x/libexec/logs/下

命令在/usr/local/Cellar/hadoop/2.x/bin/下

namenode和datanode的信息需要查看core-site.xml的hadoop.tmp.dir配置的路径，在这个路径的基础上找到dfs/data(name)/current/VERSION,文件中包含了namenode和datanode的id等信息（后面可能会需要修改的）

2.常见问题

查看是否安装成功ip:50030和ip:8088

未安装成功可以到logs下查看一场信息，常见的是id不匹配，需要到VERSION中修改datanode或者namenode的id一致

安装的hadoop中没有mapred-site.xml，这个需要自己创建一个或者拷贝mapred-site.xml.template重命名一下

只有修改了namenode或者datanode的相关配置文件以后才需要format

执行jar命令 hadoop jar your jar

保护进程可使用 nohup hadoop jar your jar &

跑mapreduce程序可能会有Mkdirs failed to create somepath/...META-INF/LICENSE这个需要

zip -d your jar META-INF/LICENSE

查看mapreduce日志需要重新添加map配置，然后单独启动historyserver

0 0