介绍JAVA的节点流和处理流以及流的关闭顺序
来源:互联网 发布:《物理学史》 淘宝 编辑:程序博客网 时间:2024/06/15 15:18
转载于:http://www.cnblogs.com/byrhuangqiang/p/3924985.html
今天在编写hadoop程序的时候,用到了流的处理。关闭流的时候出现了问题:
代码:
1 FSDataInputStream fsin = fs.open(new Path(filein)); 2 FSDataOutputStream fsout = fs.append(new Path(fileout)); 3 BufferedReader br = new BufferedReader(new InputStreamReader(fsin)); 4 BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(fsout)); 5 ... 6 br.close(); 7 fsin.close(); 8 bw.close(); 9 fsout.close();
异常:
1 [root@bigdata004 bigdata]# ./bigdataTimer.sh 2 INFO [main] com.sinosoft.bigdata.BigDataTimer.main(227) | -----Timer begin-----3 INFO [main] com.sinosoft.bigdata.BigDataInit.<clinit>(70) | bigdata init ...4 WARN [main] org.apache.hadoop.util.NativeCodeLoader.<clinit>(62) | Unable to load native-hadoop library for your platform... using builtin-java classes where applicable5 INFO [main] com.sinosoft.bigdata.BigDataTimer.mergeFile(66) | Finished appending file.6 INFO [main] com.sinosoft.bigdata.BigDataTimer.mergeFile(68) | deleted the input data path.7 INFO [main] com.sinosoft.bigdata.BigDataTimer.mergeFile(70) | create the input data path.8 ERROR [main] org.apache.hadoop.hdfs.DFSClient.closeAllFilesBeingWritten(776) | Failed to close file /user/root/dayfileInput/dayfileIn9 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /user/root/dayfileInput/dayfileIn: File does not exist. Holder DFSClient_NONMAPREDUCE_-221972347_1 does not have any open files.
原因:关闭处理流br.close();之后,紧接着关闭了与之相关的fsin.close();的节点流。事实上,br.close();会调用fsin.close(); 因此重复关闭了2次fsin.close();最后抛出了异常。
回顾了一下流的知识:
按照流是否直接与特定的地方(如磁盘、内存、设备等)相连,分为节点流和处理流两类。
- 节点流:可以从或向一个特定的地方(节点)读写数据。如FileReader.
- 处理流:是对一个已存在的流的连接和封装,通过所封装的流的功能调用实现数据读写。如BufferedReader.处理流的构造方法总是要带一个其他的流对象做参数。一个流对象经过其他流的多次包装,称为流的链接。
JAVA常用的节点流:
- 文 件 FileInputStream FileOutputStrean FileReader FileWriter 文件进行处理的节点流。
- 字符串 StringReader StringWriter 对字符串进行处理的节点流。
- 数 组 ByteArrayInputStream ByteArrayOutputStreamCharArrayReader CharArrayWriter 对数组进行处理的节点流(对应的不再是文件,而是内存中的一个数组)。
- 管 道 PipedInputStream PipedOutputStream PipedReaderPipedWriter对管道进行处理的节点流。
常用处理流(关闭处理流使用关闭里面的节点流)
- 缓冲流:BufferedInputStrean BufferedOutputStream BufferedReader BufferedWriter
---增加缓冲功能,避免频繁读写硬盘。
- 转换流:InputStreamReader OutputStreamReader实现字节流和字符流之间的转换。
- 数据流 DataInputStream DataOutputStream 等-提供将基础数据类型写入到文件中,或者读取出来.
流的关闭顺序
- 一般情况下是:先打开的后关闭,后打开的先关闭
- 另一种情况:看依赖关系,如果流a依赖流b,应该先关闭流a,再关闭流b。例如,处理流a依赖节点流b,应该先关闭处理流a,再关闭节点流b
- 可以只关闭处理流,不用关闭节点流。处理流关闭的时候,会调用其处理的节点流的关闭方法。
注意:
- 如果将节点流关闭以后再关闭处理流,会抛出IO异常。
- 如果关闭了处理流,在关闭与之相关的节点流,也可能出现IO异常。(hadoop编程文件流操作中遇到了。)
阅读全文
0 0
- 介绍JAVA的节点流和处理流以及流的关闭顺序
- JAVA的节点流和处理流以及流的关闭顺序
- JAVA的节点流和处理流以及流的关闭顺序
- JAVA——IO流 之 节点流和处理流以及流的关闭顺序(5)
- 简述节点流和处理流的区别,以及Java流式输入输出的架构特点
- JAVA IO 流的关闭顺序!
- java里面的节点流和处理流
- java socket 以及 流 关闭的问题
- java中io各种流的关闭顺序
- java中io各种流的关闭顺序
- java中io各种流的关闭顺序
- java中io各种流的关闭顺序
- JAVA I/O流的关闭顺序有讲究没有?
- Java中IO各种流的先后关闭顺序
- java节点流和处理流
- Java:节点流和处理流
- java io 节点流和处理流
- 【JAVA】IO流关闭顺序
- 国内知名互联网企业开源项目简介及Git位置
- Spring MVC通过CROS协议解决跨域问题
- Android Studio 一个简单的非传统Jni例子
- 实验吧Writeup
- Android 工作中的坑
- 介绍JAVA的节点流和处理流以及流的关闭顺序
- Android Drawable Importer的使用
- CSDN-markdown编辑器使用方法
- C/C++操作数重载函数标准库实现
- 详述「设计模式」及其 Java 实现
- pod 清除缓存
- Android 屏幕常亮
- [android进阶篇]MVP模式优化,防止内存泄漏和空指针问题
- LaTex公式符号