HDFS工具类
来源:互联网 发布:枪神纪刷枪软件 免费 编辑:程序博客网 时间:2024/06/05 11:52
public class HdfsUtils { public static FileSystem getFileSystem(String hdfsUrl) { Configuration conf = new Configuration(); conf.set("fs.defaultFS",hdfsUrl); conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem"); conf.set("dfs.client.read.shortcircuit","true"); conf.set("dfs.domain.socket.path","/var/lib/hadoop-hdfs/dn_socket"); //conf.addResource("hdfs-site.xml"); String username= ConfigurationManager.getProperty(Constants.HADOOP_USER_NAME); System.setProperty("HADOOP_USER_NAME", username); // 文件系统 FileSystem fs=null; if (org.apache.commons.lang.StringUtils.isBlank(hdfsUrl)) { // 返回默认文件系统 如果在 Hadoop集群下运行,使用此种方法可直接获取默认文件系统 try { fs = FileSystem.get(conf); fs.close(); } catch (IOException e) { e.printStackTrace(); //logger.error("", e); } } else { // 返回指定的文件系统,如果在本地测试,需要使用此种方法获取文件系统 try { fs = FileSystem.get(URI.create(hdfsUrl.trim()), conf); } catch (IOException e) { e.printStackTrace(); //logger.error("", e); } } return fs; }}
阅读全文
0 0
- HDFS工具类
- hdfs工具类加注释
- hadoop HDFS工具类---对hdfs的读、写
- hadoop-hdfs-文件工具类(Java)
- hadoop-hdfs-文件工具类(Scala)
- Hdfs上文件 读写 工具类 Demo
- hadoop实战之hdfs常用操作工具类
- HDFS工具DsfAdmin和FsShell
- HDFS性能压测工具
- Cloudera提供HTTP方式连接HDFS工具
- HDFS性能压测工具浅析
- HDFS高级操作命令和工具
- HDFS新运维工具命令之listOpenFiles命令
- HDFS高级操作命令和工具
- hadoop HDFS操作类
- HDFS
- HDFS
- HDFS
- Latex的符号对照表
- js中既然变量都用var修饰,为什么不直接去掉?
- Spring入门
- 获取地址栏的search
- 单点登录集群安装教程
- HDFS工具类
- JavaScript数组内置方法介绍
- Android音视频-视频基础
- C++ Primer学习心得第七章
- 关于redis增删查改的步骤
- Tiny-Spring源码阅读(二)、AOP部分的理解
- 引用stylus文件,stylus文件中再引用.svg的问题
- springboot admin邮件报警
- 解决Webview 播放mp4格式的视频,退出后依然有声音