Hadoop2.7.1版本---标准输出HDFS文件系统中的文件

来源:互联网 发布:网络诈骗防范常识 编辑:程序博客网 时间:2024/05/16 09:25

Hadoop2.7.1版本—本文内容中有关地址的内容要自行根据自身设置修改

最近开始全身心的开始学习hadoop了,运行了系统jar文件自带的wordcount(和我们学习编程的第一天输出helloworld一样),开始运行自己编写的案例程序。开始翻越网上的各种博客,可是很多编译运行类似的程序都是基于hadoop 1.0 等老版本的,令人十分苦恼!于是写这篇博客拿来分享给各位一起学习hadoop的小伙伴!!

1、先把我们要运行的代码给大家展示一下

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils;import java.io.InputStream;import java.net.URL;public class URLCat{        static{                URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());        }        public static void main(String[] args) throws Exception {                InputStream in = null;                try {                        in = new URL(args[0]).openStream();                        IOUtils.copyBytes(in,System.out,4096,false);                } finally{                        IOUtils.closeStream(in);                }        }}

2、编译这段代码并生成jar包
首先我们在编译之前要确保已经添加的如下环境变量。通过查看~/.bashrc文件即可。
这里写图片描述
如果没有的导入下面的环境变量,请自行添上。并使文件生效:命令行输入 source ~/.bashrc

export HADOOP_HOME=/usr/local/hadoopexport CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

开始编译
这里写图片描述
生成jar包
这里写图片描述
3、运行程序
这里写图片描述

本文代码引用 hadoop权威指南 第三版 63 页 相关内容!

原创粉丝点击