如何提示mapreduce,查看systemout信息

来源:互联网 发布:cpk计算软件 编辑:程序博客网 时间:2024/06/07 01:56
又折腾了大半天,只解决了一半的问题吧。
已经解决部分:
可以通过web查看运行job的systemout及其他信息
访问地址http://ip:50030,找到相应job往下查即可。
最后有
stdout logs hello world!
信息。即为systemout输出信息。


通过查询hadoop官方文档,集群搭建部分可以看到logging部分,有关hadoop的日志配置信息。


未解决部分:在map或者reduce函数上写io将一些必要信息进行落地成文本,可执行成功,但文件未能参见也未能写入信息,io具体写法如下:
File dir = new File("/root/bin/qiulp");if (!dir.exists()) {dir.mkdir();}File file = new File("/root/bin/qiulp/log.txt");BufferedWriter writer = new BufferedWriter(new FileWriter(file));writer.write(valuses);writer.close();

在windows eclipse远程连linux hadoop运行环境下没能写入文件。经过其他人其他测试环境下成功。不知道本环境为何不成功(本环境所有东西都装在root用户下,包括java环境)。求高手帮我看看。



终于解决了。io写的目录与运行的mapreduce有关,在哪个node上运行的,输出将会在哪个目录。所以没有在name节点上

同样了job日志也此。若配置一下hadoop.job.history.location 或者hadoop.log.dir可否将日志调整到name节点上,还没测试过
0 0
原创粉丝点击