利用hdfs的java api进行文件操作注意事项

来源：互联网发布：windows phone qq在线编辑：程序博客网时间：2024/05/29 11:57

在编写测试过程中，有以下注意事项：
1、在windows下运行，需要下载hadoop并且在bin目录添加winutils.exe文件。
下载链接：https://github.com/srccodes/hadoop-common-2.2.0-bin/tree/master/bin
2、报错No FileSystem for scheme: hdfs
这个错有两种解决方案：
（1）在hadoop-common-x.jar的core-default.xml中添加：

<property><name>fs.hdfs.impl</name><value>org.apache.hadoop.hdfs.DistributedFileSystem</value><description>The FileSystem for hdfs: uris.</description></property>

（2）显示的设置fs.hdfs.impl

Configuration conf = new Configuration();//conf.set("fs.file.impl", "org.apache.hadoop.fs.LocalFileSystem");conf .set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

这个错是因为下面代码找不到实现，所以需进行实现：

private static FileSystem createFileSystem(URI uri, Configuration conf) throws IOException {Class<?> clazz = conf.getClass("fs." + uri.getScheme() + ".impl", null);if (clazz == null) {throw new IOException("No FileSystem for scheme: " + uri.getScheme());}FileSystem fs = (FileSystem)ReflectionUtils.newInstance(clazz, conf);fs.initialize(uri, conf);return fs;}

0 0