dbunit使用小结

用dbunit一阵子了，挺顺利，觉得方便的同时顺便又在系统中加了一个备份的模块，觉得比较完善了。

经过几天的数据装载后问题来了……

记录越来越多，几万条了，备份数据的xml文件超过了30M，再装载的时候不行喽，out of memory。

想当然的认为单文件操作不行了，考虑修改dbunit源码，自动把文件分割开。这个事有点麻烦，放一放再说吧。

 

今天跟小明同学聊天的时候突然想仔细看看dbunit任务中的几个属性，才发现自己想得太复杂了。

dbunit装载xml文件时采用了StreamingDataSet和CachedDataSet两种方式，显然使用后者的话，内存就会不足。而导入数据时如果将type设成CLEAN_INSERT，则只能使用CachedDataSet方式。

所以解决方法很简单，不用CLEAN_INSERT就行了，实际上CLEAN_INSERT在执行过程中是DELETE_ALL和INSERT两个任务的组合，只要用这两个来替代原来的任务即可。当然，源代码还需要做一点改动，org.dbunit.ant.Operation类，106行，“_forwardOperation = false;” 改成true即可。

 

顺便针对xml本身的问题做一个其他方面修改：有个数据文件怎么也导入不进去，找了半天发现一个非法字符混在里面，ASCII码是30，这什么东西？管他呢，只好写一个过滤函数在导入前先逐字检查一遍文件。