Java读取大文件
来源:互联网 发布:网络推广培训总结 编辑:程序博客网 时间:2024/05/16 19:27
遇到过这样一个情况,需要用java读取一个200M的文本格式文件,而且还需要对文件的内容做解析,进行分词。如果用JVM的默认设置,利用Scanner类只能读出4M大小内容,于是我就在网上搜索,但是网上没有找到一篇文章是我所需要的内容。于是我只好翻thinkinginjava,发现了一个java的nio里有个MappedByteBuffer类,他的作用可以把一个文件映射到内存中,然后就能像访问数组一样去读取这个文件。于是我在JDK中查了MappedByteBuffer的详细的用法,然后将其和Scanner类结合一下,便能得到一边读取大文件,一边解析读取的内容了功能了,具体的代码如下:
public void readResource() {
long fileLength = 0;
final int BUFFER_SIZE = 0x300000;// 3M的缓冲
for(String fileDirectory:this.readResourceDirectory())//得到文件存放路径,我这里使用了一个方法从XML文件中读出文件的
//存放路径,当然也可以用绝对路径来代替这里的fileDriectory
{
File file = new File(fileDirectory);
fileLength = file.length();
try {
MappedByteBuffer inputBuffer =
new RandomAccessFile(file,"r").getChannel().map(FileChannel.MapMode.READ_ONLY, 0, fileLength);//读取大文件
byte[] dst = new byte[BUFFER_SIZE];//每次读出3M的内容
for(int offset=0; offset < fileLength; offset+= BUFFER_SIZE)
{
if(fileLength - offset >= BUFFER_SIZE)
{
for(int i = 0;i < BUFFER_SIZE;i++)
dst
}
else
{
for(int i = 0;i < fileLength - offset;i++)
dst = inputBuffer.get(offset + i);
}
//将得到的3M内容给Scanner,这里的XXX是指Scanner解析的分隔符
Scanner scan = new Scanner(new ByteArrayInputStream(dst)).useDelimiter("XXX");
while(scan.hasNext())
{
//这里为对读取文本解析的方法
}
scan.close();
}
} catch (Exception e)
{
e.printStackTrace();
}
}
}
希望以上这段代码能对当时和我遇到同样问题的人能有所帮助。
- Java读取大文件
- java读取大文件
- java读取大文件
- java读取大文件
- Java大文件读取
- Java 读取大文件
- java读取大文件
- java 读取大文件
- Java读取大文件
- java读取大文件
- java读取大文件
- JAVA读取大文件操作
- JAVA NIO 大文件读取
- Java高效读取大文件
- Java高效读取大文件
- java多线程读取大文件
- Java高效读取大文件
- java如何读取大文件
- c#中的委托和事件(事件)
- 克鲁伊夫:巴萨仍需学会一点 队魂理应自主去留(2009-11-03)
- Liferay Plugin SDK开发与Ext开发的选择
- Thumb、ARM指令状态切换
- GWT-EXT项目配置说明
- Java读取大文件
- 学习知识管理
- 消息队列 MSMQ
- 清理Trans表(一)
- 教你如何用VB做控件*.ocx
- linux常用svn命令
- 研究:武功与性欲的关系
- 我期望的生活,快点到来吧
- Windows下JRTP编译