HDFS小坑

来源：互联网发布：2017公安部网络严打编辑：程序博客网时间：2024/06/05 09:38

因为需要对HDFS上的文件进行写入，所以需要在本地进行测试。

在运行《权威指南》例3-2的样例程序时，遇到一些问题。

像我这种懒人肯定懒得打包再命令行，所以直接在IDE里运行的。遇到两个小坑。

1-当HDFS路径参数指定为：“hdfs：//localhost/1.txt”时，程序报错 No FileSystem for scheme: hdfs.

经过查询发现，由于hadoop-hdfs和hadoop-common中均存在org.apache.hadoop.fd.FileSystem，

common中的FileSystem：

org.apache.hadoop.fs.LocalFileSystemorg.apache.hadoop.fs.viewfs.ViewFileSystemorg.apache.hadoop.fs.ftp.FTPFileSystemorg.apache.hadoop.fs.HarFileSystem

hdfs中的fileSystem：

org.apache.hadoop.hdfs.DistributedFileSystemorg.apache.hadoop.hdfs.web.HftpFileSystemorg.apache.hadoop.hdfs.web.HsftpFileSystemorg.apache.hadoop.hdfs.web.WebHdfsFileSystemorg.apache.hadoop.hdfs.web.SWebHdfsFileSystem

需要在configuration中指定

conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

2-在指定后，开始报第二个错误，

Call From localhost/127.0.0.1 to localhost:8020 failed on connection exception

端口错误，在网上查了一圈端口，我是按照《权威指南》布的伪分布式，即在core-site.xml中的设置为：

<configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:/</value>
   </property>
</configuration>

报错后，将value改为hdfs://localhost:8020/就好使了。

这个让我稍微有点迷，因为8020应该是默认的端口。希望随着学习的深入，可以了解。这篇就先写到这里。

0 0