在 Eclipse 中运行 MapReduce 程序会遇到的问题
来源:互联网 发布:mac 外置显卡 编辑:程序博客网 时间:2024/05/16 08:37
在使用 Eclipse 运行 MapReduce 程序时,会读取 Hadoop-Eclipse-Plugin 的 Advanced parameters 作为 Hadoop 运行参数,如果我们未进行修改,则默认的参数其实就是单机(非分布式)参数,因此程序运行时是读取本地目录而不是 HDFS 目录,就会提示 Input 路径不存在。
此外,log4j 用于记录程序的输出日记,需要 log4j.properties 这个配置文件,如果没有复制该文件到项目中,运行程序后在 Console 面板中会出现警告提示:
所以我们要么修改插件参数,要么将配置文件复制到项目中的 src 目录来覆盖参数,才能让程序能够正确运行。Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException:
Input path does not exist: file:/home/hadoop/workspace/WordCountProject/input
将 /usr/local/hadoop/etc/hadoop 中将有修改过的配置文件(如伪分布式需要 core-site.xml 和 hdfs-site.xml),
以及 log4j.properties 复制到 WordCount 项目下的 src 文件夹(~/workspace/WordCount/src)中
此外,log4j 用于记录程序的输出日记,需要 log4j.properties 这个配置文件,如果没有复制该文件到项目中,运行程序后在 Console 面板中会出现警告提示:
虽然不影响程序的正确运行的,但程序运行时无法看到任何提示消息(只能看到出错信息)log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
阅读全文
0 0
- 在 Eclipse 中运行 MapReduce 程序会遇到的问题
- 在eclipse上运行MapReduce的wordcount程序所遇到的问题
- 在eclipse中运行mapreduce程序全过程,问题详解
- 在eclipse中运行mapreduce程序全过程,问题详解
- 在Eclipse中直接运行Mapreduce程序
- MapReduce运行中遇到的问题
- 在eclipse将mapreduce程序运行在hadoop集群中
- eclipse中运行mapreduce程序
- Eclipse中运行MapReduce程序
- 在Eclipse中运行第一个MapReduce程序
- 在Eclipse中运行第一个MapReduce程序
- 在Eclipse中运行第一个MapReduce程序
- 在Eclipse中运行第一个MapReduce程序
- eclipse开发mapreduce程序遇到的环境问题
- Eclipse中运行MapReduce程序时控制台无法打印进度信息的问题
- Eclipse中运行MapReduce程序时控制台无法打印进度信息的问题
- 在eclipse上运行MapReduce程序
- eclipse 中运行mapreduce程序相关配置
- 大话设计模式之一---适配器模式《转载》
- 设计模式之二--外观模式《转载》
- Linux 访问window 共享目录
- XZ_iOS之通过分享的链接,调起app
- 此脚本可以下载一些漂亮的https网页模版
- 在 Eclipse 中运行 MapReduce 程序会遇到的问题
- Caffe: Faster RCNN训练模型(Windows)
- bzoj 1012 单调队列 解题报告
- StringTokenizer
- 生产者消费者模式——线程并发(通知、等待)
- PT学习笔记
- Map遍历方式比较
- 海选女主角
- JavaScript基础