Wrong FS: hdfs:/ expected: file:///

来源:互联网 发布:js遍历object数组 编辑:程序博客网 时间:2024/05/20 12:50
因为是访问远程的 HDFS 需要通过URI来获得 FileSystem.
其中有解决办法


Solution1:

  static{
        Configuration.addDefaultResource("hdfs-default.xml");
        Configuration.addDefaultResource("hdfs-site.xml");
        Configuration.addDefaultResource("mapred-default.xml");
        Configuration.addDefaultResource("mapred-site.xml");
    }




Solution2:

Path.getFileSystem(conf)
代替
FileSystem.get(conf)



Solution3:

Configuration conf = new Configuration();
conf.set("mapred.jop.tracker", "hdfs://192.168.1.108:9001"); 
conf.set("fs.default.name", "hdfs://192.168.1.108:9000");



0 0
原创粉丝点击