Hadoop2.7.1版本---标准输出HDFS文件系统中的文件
来源:互联网 发布:网络诈骗防范常识 编辑:程序博客网 时间:2024/05/16 09:25
Hadoop2.7.1版本—本文内容中有关地址的内容要自行根据自身设置修改
最近开始全身心的开始学习hadoop了,运行了系统jar文件自带的wordcount(和我们学习编程的第一天输出helloworld一样),开始运行自己编写的案例程序。开始翻越网上的各种博客,可是很多编译运行类似的程序都是基于hadoop 1.0 等老版本的,令人十分苦恼!于是写这篇博客拿来分享给各位一起学习hadoop的小伙伴!!
1、先把我们要运行的代码给大家展示一下
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils;import java.io.InputStream;import java.net.URL;public class URLCat{ static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } public static void main(String[] args) throws Exception { InputStream in = null; try { in = new URL(args[0]).openStream(); IOUtils.copyBytes(in,System.out,4096,false); } finally{ IOUtils.closeStream(in); } }}
2、编译这段代码并生成jar包
首先我们在编译之前要确保已经添加的如下环境变量。通过查看~/.bashrc文件即可。
如果没有的导入下面的环境变量,请自行添上。并使文件生效:命令行输入 source ~/.bashrc
export HADOOP_HOME=/usr/local/hadoopexport CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
开始编译
生成jar包
3、运行程序
本文代码引用 hadoop权威指南 第三版 63 页 相关内容!
阅读全文
0 0
- Hadoop2.7.1版本---标准输出HDFS文件系统中的文件
- Hadoop学习----直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
- Hadoop实验:用java直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
- 使用seek()方法,将Hadoop文件系统中的一个文件在标准输出上显示两次
- 标准输出方式显示Hadoop文件系统的文件实例
- HDFS文件系统在JAVA中的操作(1) 读取文件
- 向HDFS输出文件
- Hadoop2.7.1---hdfs-over-ftp
- hdfs文件系统创建文件出错
- fuse挂载hadoop2.0.0文件系统hdfs到本地
- Hadoop2.4.1学习笔记(二)之hdfs文件系统学习
- Ubuntu16.04的Hadoop2.7.3之分布式文件系统HDFS学习指南
- 使用FileSystem以标准输出格式显示HDFS当中的文件
- FileSystem以标准输出格式显示Hadoop文件中的文件
- Linux 中的标准输出
- HDFS中的文件许可
- Hadoop的Map和Reduce中能不能打开HDFS文件系统中的文件?
- 第一个hadoop程序(java程序访问hadoop的hdfs文件系统中的文件)
- 【Redis】在 Java 中使用 redis
- (3) Shell 输入输出
- 体检微信预约
- cent0S 65 安装 lxc
- 基本算法之希尔排序
- Hadoop2.7.1版本---标准输出HDFS文件系统中的文件
- 13.建造者模式
- shell脚本实现进度条功能
- 11
- 这才叫自定义标题栏
- 一个Java的简单小程序(3)
- (4) Shell 数组
- 美团外卖小程序
- Python练习16-----习题2