Hadoop第一个程序,利用API向HDFS中写入数据
来源:互联网 发布:安卓手机定位软件 编辑:程序博客网 时间:2024/06/04 23:24
参考:http://f.dataguru.cn/thread-85493-1-1.html
这时学习Hadoop以来写的第一个成功的程序,程序仿照《Hadoop实战》中的PutMerge程序,这里有几个要注意的地方:
1.hdfs的地址是一个网络地址,如下面的:hdfs://localhost:9000/test3
2.确保不会出现“权限不足”的异常
- import java.io.IOException;
- import java.net.URI;
- import org.apache.hadoop.conf.Configuration;
- import org.apache.hadoop.fs.FSDataInputStream;
- import org.apache.hadoop.fs.FSDataOutputStream;
- import org.apache.hadoop.fs.FileStatus;
- import org.apache.hadoop.fs.FileSystem;
- import org.apache.hadoop.fs.Path;
- /**
- *
- */
- /**
- * Hadoop版本1.2.1
- * 系统ubuntu 12.04
- * JDK 1.7
- *
- */
- public class PutMerge {
- public static void main(String[] args) throws IOException {
- Configuration conf = new Configuration();
- Path inputDir = new Path("/home/hadoop/input");
- String serverPath = "hdfs://localhost:9000/test3";
- Path hdfsfile = new Path(serverPath);
- FileSystem hdfs = FileSystem.get(URI.create(serverPath), conf);
- FileSystem local = FileSystem.getLocal(conf);
- FileStatus[] status = local.listStatus(inputDir);
- FSDataOutputStream out = hdfs.create(hdfsfile);
- for(int i = 0; i < status.length; i++) {
- FSDataInputStream in = local.open(status[i].getPath());
- byte buffer[] = new byte[256];
- int byteread = 0;
- while((byteread = in.read(buffer)) > 0) {
- out.write(buffer);
- }
- in.close();
- }
- out.close();
- }
- }
0 0
- Hadoop第一个程序,利用API向HDFS中写入数据
- Hadoop第一个程序,利用API向HDFS中写入数据
- hadoop小程序---写入hdfs
- Hadoop源码分析HDFS Client向HDFS写入数据的过程解析
- Hadoop向HDFS写入、删除、读取文件
- hdfs 查看文件(第一个hadoop程序)
- hadoop API 写入HDFS简单注释
- 多个程序向同一个kafka topic写入数据
- 第一个hadoop程序(java程序访问hadoop的hdfs文件系统中的文件)
- 利用C#向word文档中写入数据
- 利用C#向word文档中写入数据
- 利用C#向word文档中写入数据
- Python利用xlwt向Excel中写入数据示例
- 浅析hadoop写入数据api
- 浅析hadoop写入数据api
- 浅析hadoop写入数据api
- 浅析hadoop写入数据api
- 第一个hadoop程序
- OCP-1Z0-053-V13.02-42题
- Ubuntu-Python2.7安装 scipy,numpy,matplotlib
- vim map学习[1]
- 我的第三个 USACO Training--Friday the Thirteenth
- ERROR LNK1123的解决方案
- Hadoop第一个程序,利用API向HDFS中写入数据
- 20个超实用的JavaScript技巧及最佳实践
- nginx的httpGzip参数配置
- VirtualBox下设置Windows XP与Ubuntu的共享文件夹
- Qt之事件
- HDOJ 1208 Pascal's Travels(水DP)
- C# 实现自定义事件
- java之遍历目录
- Hadoop入门实践之从WordCount程序说起