Hadoop URL数据读取操作

hadoop可以从命令行上使用hadoop fs [command]来读取文件系统中的文件。同时也可以使用java接口来实现这些功能。

刚写好了一个权威指南上的例子，附上代码：

package baseOperation;import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;public class FileSystemCat {public static void main(String[] args) throws Exception{String uri = "hdfs://localhost/user/root/Esther/pome";Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(uri),conf);InputStream in = null;try{in = fs.open(new Path(uri));IOUtils.copyBytes(in,System.out,4096,false);}finally{IOUtils.closeStream(in);}}}

在导入hadoop 的conf文件、一些jar包信息之后，编译出错：

Could not find or load main class baseOperation.FileSystemCat

这个问题后来解决了，是类文件放的是文件夹下面而不是包下面，重新建立一个包，然后将源文件放进去就行，如下

网上也有其他的解决办法，

选择use as source folder就可以了。

现在设置好了以后，右键点击Run  as ----> run on hadoop运行之后，出现远程连接错误，应该是eclipse与hadoop的连接问题，初步断定应该是两者的配置问题。