hadoop异常: Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///
来源:互联网 发布:约战竞技场出招优化 编辑:程序博客网 时间:2024/05/22 02:27
问题描述:
在本地运行hadoop Map/Reduce程序时,在涉及到hdfs文件操作的时候,往往会出现上面提到的错误,例如,下面这段代码:
通过试验发现,在分布式hadoop集群上运行这段代码是不会出现错误的,然而在本机伪分布式环境下运行这段代码就会出现前面提到的错误信息。有两种方法来解决这个问题。
解决方法1:
将上述代码稍作修改,利用clear_path来获取FileSystem,改为如下代码片段:
解决方案2:
更为彻底的解决方法需要将hadoop目录中的conf文件夹中的hdfs-site.xml与core-site.xml复制到你的项目的目录之下,这样就不会再报这种错误。
在本地运行hadoop Map/Reduce程序时,在涉及到hdfs文件操作的时候,往往会出现上面提到的错误,例如,下面这段代码:
1 Path clear_path = new Path(args[1]);
2 FileSystem fs = FileSystem.get(conf);
3 fs.delete(clear_path);
2 FileSystem fs = FileSystem.get(conf);
3 fs.delete(clear_path);
通过试验发现,在分布式hadoop集群上运行这段代码是不会出现错误的,然而在本机伪分布式环境下运行这段代码就会出现前面提到的错误信息。有两种方法来解决这个问题。
解决方法1:
将上述代码稍作修改,利用clear_path来获取FileSystem,改为如下代码片段:
Path clear_path = new Path(args[1]);
FileSystem fs = clear_path.getFileSystem(conf);
fs.delete(clear_path);
这样运行起来就不会报错。FileSystem fs = clear_path.getFileSystem(conf);
fs.delete(clear_path);
解决方案2:
更为彻底的解决方法需要将hadoop目录中的conf文件夹中的hdfs-site.xml与core-site.xml复制到你的项目的目录之下,这样就不会再报这种错误。
阅读全文
0 0
- hadoop异常: Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///
- hadoop异常: Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///
- Hadoop Problem : Wrong FS: hdfs://localhost:9000/output, expected: file:///
- Hadoop HDFS Wrong FS: hdfs:/ expected file:///
- Wrong FS: hdfs://localhost:9000/home/hadoop/hadoop, expected: file:///
- Wrong FS: hdfs:/ expected: file:///
- Wrong FS: hdfs:, expected:file:///
- Wrong FS: hdfs://******, expected: file:///
- Wrong FS: hdfs expected: file:
- Hadoop使用java查询HDFS 错误:Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file:///
- hadoop程序抛出异常:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- hadoop运行报错Wrong FS: hdfs:/, expected: file:///
- Hadoop问题记录:Wrong FS: hdfs://hp5-249:9000/, expected: file:///
- hadoop dfs 保错.IllegalArgumentException: Wrong FS: hdfs://XXX:9000, expected: file:///
- Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///---异常解决方案
- Wrong FS: hdfs://localhost:9000/user/... expected: file:///
- Wrong FS: hdfs://localhost:9000/input, expected: file:///
- Wrong FS: hdfs://localhost:9000/user/... expected: file:///
- SQL高级查询——50句查询(含答案)
- matlab数组的创建
- 如何动态兼容沉浸式状态栏模式
- 整理--京东2017校招技术类选择题(一)
- 简述http协议
- hadoop异常: Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///
- 加密解密(一)——预备知识(概念)
- 正则表达式30分钟入门教程
- Java Review
- 关于嵌套循环效率研究
- Java中字符串相加和字符串常量相加区别
- Rust基础语法概念学习
- Vue +Node +Mysql 从简至全(二)
- LINTCODE——最大子数组III