如何提示mapreduce,查看systemout信息
来源:互联网 发布:cpk计算软件 编辑:程序博客网 时间:2024/06/07 01:56
又折腾了大半天,只解决了一半的问题吧。
已经解决部分:
可以通过web查看运行job的systemout及其他信息
访问地址http://ip:50030,找到相应job往下查即可。
最后有
通过查询hadoop官方文档,集群搭建部分可以看到logging部分,有关hadoop的日志配置信息。
未解决部分:在map或者reduce函数上写io将一些必要信息进行落地成文本,可执行成功,但文件未能参见也未能写入信息,io具体写法如下:
在windows eclipse远程连linux hadoop运行环境下没能写入文件。经过其他人其他测试环境下成功。不知道本环境为何不成功(本环境所有东西都装在root用户下,包括java环境)。求高手帮我看看。
终于解决了。io写的目录与运行的mapreduce有关,在哪个node上运行的,输出将会在哪个目录。所以没有在name节点上
同样了job日志也此。若配置一下hadoop.job.history.location 或者hadoop.log.dir可否将日志调整到name节点上,还没测试过
已经解决部分:
可以通过web查看运行job的systemout及其他信息
访问地址http://ip:50030,找到相应job往下查即可。
最后有
stdout logs hello world!信息。即为systemout输出信息。
通过查询hadoop官方文档,集群搭建部分可以看到logging部分,有关hadoop的日志配置信息。
未解决部分:在map或者reduce函数上写io将一些必要信息进行落地成文本,可执行成功,但文件未能参见也未能写入信息,io具体写法如下:
File dir = new File("/root/bin/qiulp");if (!dir.exists()) {dir.mkdir();}File file = new File("/root/bin/qiulp/log.txt");BufferedWriter writer = new BufferedWriter(new FileWriter(file));writer.write(valuses);writer.close();
在windows eclipse远程连linux hadoop运行环境下没能写入文件。经过其他人其他测试环境下成功。不知道本环境为何不成功(本环境所有东西都装在root用户下,包括java环境)。求高手帮我看看。
终于解决了。io写的目录与运行的mapreduce有关,在哪个node上运行的,输出将会在哪个目录。所以没有在name节点上
同样了job日志也此。若配置一下hadoop.job.history.location 或者hadoop.log.dir可否将日志调整到name节点上,还没测试过
0 0
- 如何提示mapreduce,查看systemout信息
- 如何查看mapreduce日志
- [MapReduce]MapReduce调试:在DataNode节点上查看打印信息
- HTML 提示 - 如何查看源代码
- python查看如何查看版本信息
- 如何查看 ubuntu 版本信息
- 如何查看AD架构信息
- 如何查看ubuntu版本信息
- 如何查看Ubuntu版本信息
- 如何查看数据库端口信息?
- Android 版本信息如何查看
- 如何查看ubuntu 版本信息
- linux如何查看系统信息
- 如何查看 ubuntu 版本信息
- linux如何查看系统信息
- linux如何查看系统信息
- linux如何查看系统信息
- linux如何查看系统信息
- hdu 5773 字符串水题
- hadoop format后启动不了
- hbase Waiting on regionserver(s) to checkin
- wordcount
- rem的具体理解和用法
- 如何提示mapreduce,查看systemout信息
- javascript笔试题(8) 继承
- linux下 部署单个resin项目
- PyGobject(八十四)GdkPixbuf.Pixbuf
- 如何在mapreduce方法中获取当前使用文件(get file name)
- 解决Plugin is too old,please update to a more recent version, or set ANDROID_DAILY_OVERRIDE environm
- 关于mapreduce解析xml的方法
- C语言今日函数总结
- 最大子列