利用 HDFS 的 URL 方式读取 HDFS 内文件内容
来源:互联网 发布:php怎么实现三级分销 编辑:程序博客网 时间:2024/06/07 15:30
准备工作:
与上一篇相同
代码:
package com.peng.hdfs;import java.io.IOException;import java.io.InputStream;import java.net.MalformedURLException;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils;//利用 HDFS 的 URL 方式读取 HDFS 内文件内容public class DataReadByURL { static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } public static void main(String[] args) { InputStream in=null; try { in=new URL("hdfs://192.168.28.136/output/weibo1/part-r-00000").openStream(); IOUtils.copyBytes(in, System.out, 2048,false); } catch (MalformedURLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); }finally{ IOUtils.closeStream(in); } }}
结果:
0 0
- 利用 HDFS 的 URL 方式读取 HDFS 内文件内容
- streamingAssetsPath 内文件读取
- spark中读取hdfs中文件出错
- HDFS——如何从HDFS上读取文件内容
- Windows 实现 读取 HDFS 上 文件内容
- MapReduce读取HBase内容到hdfs
- HDFS读取副本的选择
- java读取HDFS的数据
- 读取hdfs上的文件
- HDFS的数据读取过程
- Python读取目录内文件
- HDFS的java操作方式
- 对HDFS的操作方式
- c# 通过url读取某网站下文件的内容
- iOS 无法读取包内文件的原因
- 利用git删除远程仓库内文件的方法
- HDFS中文件的压缩与解压
- HDFS中文件的压缩与解压
- js中几种继承方式
- POSCMS标签笔记
- python中如何使用朴素贝叶斯算法
- Python实现最小均方算法(lms)
- 法律法规·十八
- 利用 HDFS 的 URL 方式读取 HDFS 内文件内容
- R语言中如何使用最小二乘法
- LeetCode101. Symmetric Tree
- JQUERY实现鼠标悬停在图片上模拟放大镜效果
- FFmpeg总结(十二)用ffmpeg与nginx实现直播多路流并发播放
- 浅谈前端性能优化(五)——减少HTTP请求数
- OI历程——前五个月
- J2EE搭建Dynamic web SpringMVC工程404错误分析(二)
- 将Mysql改成:分布式内存数据库