hadoop异常: Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///
来源:互联网 发布:上海发布app软件下载 编辑:程序博客网 时间:2024/05/21 18:46
问题描述:
在本地运行hadoop Map/Reduce程序时,在涉及到hdfs文件操作的时候,往往会出现上面提到的错误,例如,下面这段代码:
通过试验发现,在分布式hadoop集群上运行这段代码是不会出现错误的,然而在本机伪分布式环境下运行这段代码就会出现前面提到的错误信息。有两种方法来解决这个问题。
解决方法1:
将上述代码稍作修改,利用clear_path来获取FileSystem,改为如下代码片段:
解决方案2:
更为彻底的解决方法需要将hadoop目录中的conf文件夹中的hdfs-site.xml与core-site.xml复制到你的项目的目录之下,这样就不会再报这种错误。
在本地运行hadoop Map/Reduce程序时,在涉及到hdfs文件操作的时候,往往会出现上面提到的错误,例如,下面这段代码:
1 Path clear_path = new Path(args[1]);
2 FileSystem fs = FileSystem.get(conf);
3 fs.delete(clear_path);
2 FileSystem fs = FileSystem.get(conf);
3 fs.delete(clear_path);
通过试验发现,在分布式hadoop集群上运行这段代码是不会出现错误的,然而在本机伪分布式环境下运行这段代码就会出现前面提到的错误信息。有两种方法来解决这个问题。
解决方法1:
将上述代码稍作修改,利用clear_path来获取FileSystem,改为如下代码片段:
Path clear_path = new Path(args[1]);
FileSystem fs = clear_path.getFileSystem(conf);
fs.delete(clear_path);
这样运行起来就不会报错。FileSystem fs = clear_path.getFileSystem(conf);
fs.delete(clear_path);
解决方案2:
更为彻底的解决方法需要将hadoop目录中的conf文件夹中的hdfs-site.xml与core-site.xml复制到你的项目的目录之下,这样就不会再报这种错误。
(Lucy添加:解决方案2对我的问题无效,只有解决方案1有效)
转载自:http://blog.csdn.net/wangjia55/article/details/53202790
阅读全文
0 0
- hadoop异常: Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///
- hadoop异常: Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///
- Hadoop Problem : Wrong FS: hdfs://localhost:9000/output, expected: file:///
- Hadoop HDFS Wrong FS: hdfs:/ expected file:///
- Wrong FS: hdfs://localhost:9000/home/hadoop/hadoop, expected: file:///
- Wrong FS: hdfs:/ expected: file:///
- Wrong FS: hdfs:, expected:file:///
- Wrong FS: hdfs://******, expected: file:///
- Wrong FS: hdfs expected: file:
- Hadoop使用java查询HDFS 错误:Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file:///
- hadoop程序抛出异常:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- hadoop运行报错Wrong FS: hdfs:/, expected: file:///
- Hadoop问题记录:Wrong FS: hdfs://hp5-249:9000/, expected: file:///
- hadoop dfs 保错.IllegalArgumentException: Wrong FS: hdfs://XXX:9000, expected: file:///
- Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///---异常解决方案
- Wrong FS: hdfs://localhost:9000/user/... expected: file:///
- Wrong FS: hdfs://localhost:9000/input, expected: file:///
- Wrong FS: hdfs://localhost:9000/user/... expected: file:///
- Maya之桥接
- 解决python3下mysqldb不支持
- 解决图片错位闪烁问题
- 自定义生成二维码,可添加logo
- XListView上拉加载下拉刷新
- hadoop异常: Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///
- ios 推送证书的配置
- 最小二乘矩阵形式python实现(线性)
- 计算机视觉领域经典论文源码
- 中科院NLPIR/ICTCLAS2016分词系统找不到Configure.xml
- json字符串解析
- Java中的Filter过滤器
- 锤子浏览器icon
- 3 IP:网际协议