Hadoop实验:用java直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
来源:互联网 发布:java拍卖系统源码 编辑:程序博客网 时间:2024/06/06 01:21
《Haoop权威指南》实验3.2
1.设置Hadoop的类目录,hadoop-env.sh
[hadoop@Master conf]$ cd /usr/hadoop/conf
[hadoop@Master conf]$ vim hadoop-env.sh
增加 export HADOOP_CLASSPATH=/usr/hadoop/myclass
2.设置搜索目录:使到运行javac,jps等程序时,省去打入一长串路径
[hadoop@Master hadoop]$ cd /home/hadoop/
[hadoop@Master ~]$ ls -a |grep .bash_profile
.bash_profile
[hadoop@Master ~]$ vim .bash_profile
3.编写java
[hadoop@Master ~]$ cd /usr/hadoop/myclass
[hadoop@Master myclass]$ vim FileSystemCat.java
import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;public class FileSystemCat { public static void main(String[] args) throws Exception { String uri = args[0]; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(uri), conf); InputStream in = null; try { in = fs.open(new Path(uri)); IOUtils.copyBytes(in, System.out,4096,false); } finally { IOUtils.closeStream(in); } }}
4.编译java
[hadoop@Master myclass]$ javac -classpath /usr/hadoop/hadoop-core-1.2.1.jar FileSystemCat.java
5.用java把hdfs系统里的文件内容读取出来,显示到屏幕
[hadoop@Master myclass]$ hadoop FileSystemCat hdfs://192.168.150.2:9000/user/hadoop/in/test1.txt
hello world
0 0
- Hadoop实验:用java直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
- Hadoop学习----直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
- FileSystem以标准输出格式显示Hadoop文件中的文件
- 使用seek()方法,将Hadoop文件系统中的一个文件在标准输出上显示两次
- 使用FileSystem以标准输出格式显示HDFS当中的文件
- 标准输出方式显示Hadoop文件系统的文件实例
- hadoop学习笔记之以标准输出方式显示hadoop文件
- hadoop中的文件操作 FileSystem
- hadoop的FileSystem 文件系统实现上传下载文件
- hadoop的FileSystem 文件系统实现上传下载文件
- Hadoop中的FileSystem学习
- hadoop自定义文件输出格式
- hadoop FileSystem使用示例
- Hadoop HDFS文件系统通过java FileSystem 实现上传下载等
- Java 读取 Hadoop 文件系统 文件
- hadoop中的filesystem和localfilesystem
- Hadoop FileSystem文件系统的概要学习
- 【Hadoop】利用MultipleOutputs,MultiOutputFormat实现以不同格式输出到多个文件
- Zhejiang southeast
- CSS3 实现六边形Div图片展示效果
- LeetCode 130 Merge k Sorted Lists
- SqlServer2008 数据库同步的两种方式 (发布、订阅)
- Win8/win7 OpenCV-2.4.60+ VS2010永久配置
- Hadoop实验:用java直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
- 酵易通微商财富裂变模式,手把手教你做微商
- iOS 开发过程中记录的一些小知识(持续更新...)
- Android中JNI的使用方法
- 沸腾女孩获网友力挺,祝福找到真爱
- 王立平--与或非
- java程序的基本规则和数据类型以及运算符
- 最长公共上升子序列
- Context类中openFileOutput ()函数的使用