hdfs 查看文件（第一个hadoop程序）

来源：互联网发布：淘宝首页导航怎么去掉编辑：程序博客网时间：2024/05/17 03:54

1、hadoop1.x分布式部署不再赘述

2、eclipse导入相应的jar包

由于是初学者、以防编译找不到jar包、导入所有的包：

3、编写程序实现

package org.zh.hadoop.read;import java.io.IOException;import java.io.InputStream;import java.net.MalformedURLException;import java.net.URL;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils;public class URLCat {static {/** * instance is used to         * construct a stream protocol handler from a protocol name */URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());}public static void main(String[] args) {try {InputStream is = new URL("hdfs://h1:9000/user/root/out/3.txt").openStream();IOUtils.copyBytes(is, System.out, new Configuration());if(is != null) is.close();} catch (MalformedURLException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();} }}

4、相关异常

4.1、若无法访问hdfs 、请检查、集群是否启动、是否正常

4.2、java.io.FileNotFoundException 、请检查hdfs下是否有该文件

4.3、若提示访问被拒绝、请使用 hadoop fs -chmod 755 dir 设置目录及文件权限

0 0