java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/out, expected: file:///
来源:互联网 发布:雷达图制作软件 编辑:程序博客网 时间:2024/05/02 00:37
转自http://www.blogjava.net/frankjinhao888/archive/2013/07/17/401676.html
错误信息:
Wrong FS: hdfs://localhost:9000/user/...expected: file:///
问题描述:
在本地运行hadoop Map/Reduce程序时,在涉及到hdfs文件操作的时候,往往会出现上面提到的错误,例如,下面这段代码:
通过试验发现,在分布式hadoop集群上运行这段代码是不会出现错误的,然而在本机伪分布式环境下运行这段代码就会出现前面提到的错误信息。有两种方法来解决这个问题。
解决方法1:
将上述代码稍作修改,利用clear_path来获取FileSystem,改为如下代码片段:
解决方案2:
更为彻底的解决方法需要将hadoop目录中的conf文件夹中的hdfs-site.xml与core-site.xml复制到你的项目的目录之下,这样就不会再报这种错误。
问题描述:
在本地运行hadoop Map/Reduce程序时,在涉及到hdfs文件操作的时候,往往会出现上面提到的错误,例如,下面这段代码:
1 Path clear_path = new Path(args[1]);
2 FileSystem fs = FileSystem.get(conf);
3 fs.delete(clear_path);
2 FileSystem fs = FileSystem.get(conf);
3 fs.delete(clear_path);
通过试验发现,在分布式hadoop集群上运行这段代码是不会出现错误的,然而在本机伪分布式环境下运行这段代码就会出现前面提到的错误信息。有两种方法来解决这个问题。
解决方法1:
将上述代码稍作修改,利用clear_path来获取FileSystem,改为如下代码片段:
Path clear_path = new Path(args[1]);
FileSystem fs = clear_path.getFileSystem(conf);
fs.delete(clear_path);
这样运行起来就不会报错。FileSystem fs = clear_path.getFileSystem(conf);
fs.delete(clear_path);
解决方案2:
更为彻底的解决方法需要将hadoop目录中的conf文件夹中的hdfs-site.xml与core-site.xml复制到你的项目的目录之下,这样就不会再报这种错误。
0 0
- java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/out, expected: file:///
- java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- Hbase java.lang.IllegalArgumentException: Wrong FS file://......expected:hdfs://...
- java.lang.IllegalArgumentException: Wrong FS://expected: file:///
- java读hdfs上文件报错:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs://.... expected file:///
- hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- hadoop程序抛出异常:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- Python通过thrift访问hadoop:报错java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- Caused by: java.lang.IllegalArgumentException: Wrong FS: hdfs:// :9000/ expected: hdfs:// :9000
- java.lang.IllegalArgumentException: Wrong FS: expected: file:/// – Hadoop
- Hadoop Problem : Wrong FS: hdfs://localhost:9000/output, expected: file:///
- Wrong FS: hdfs://localhost:9000/user/... expected: file:///
- Wrong FS: hdfs://localhost:9000/home/hadoop/hadoop, expected: file:///
- Wrong FS: hdfs://localhost:9000/input, expected: file:///
- Wrong FS: hdfs://localhost:9000/user/... expected: file:///
- Duilib中为RichEdit\Edit控件添加自定义右键菜单
- 初学C#_9
- RESTful入门——转自http://lavasoft.blog.51cto.com/62575/229206/
- poj 3190 Stall Reservations
- 【SICP练习】120 练习3.51
- java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/out, expected: file:///
- 最近开发中遇到的问题汇总
- 判断1000--2000年之间的闰年
- java路径两种写法"/"和"\\"
- 自考路之计算机系统
- Win 10 或可以运行安卓APP
- java开发人员需要注意的13个错误
- 集群上的用户权限管理及无密码登陆配置
- JAVA中的静态代码块