解析xml数据存入bean映射到数据库的 需求解决过程
来源:互联网 发布:老虎 比特 知乎 编辑:程序博客网 时间:2024/06/06 21:38
首先贴上已知的一段代码demo,解析xml。按照此方式进行功能开发。
package com.iflytek.zhejiang.hangzhou.qlsx.serviceimpl;import java.util.List;import org.apache.commons.configuration.Configuration;import org.apache.commons.configuration.ConfigurationException;import org.apache.commons.configuration.XMLConfiguration;public class XMLParserSample {public static XMLParserSample getConf() {try {return parse();} catch (ConfigurationException e) {e.printStackTrace();}return null;}private static XMLParserSample parse() throws ConfigurationException {Configuration config = new XMLConfiguration(XMLParserSample.class.getClassLoader().getResource("conf.xml"));String ip = config.getString("dataBaseURI");String account = config.getString("account");String password = config.getString("password");String runTime = config.getString("runTime");List<?> tasks = config.getList("tasks.table[@name]");//List<Table> tblLst = new ArrayList<Table>();//for (int i = 0; i < tasks.size(); i++) {////Table tbl = new Table();//tbl.setName(config.getString(String.format(//"tasks.table(%d)[@name]", i)));//tbl.setInfo(config.getString(String.format(//"tasks.table(%d)[@info]", i)));//tbl.setPrimary(config.getString(String.format(//"tasks.table(%d)[@primary]", i)));//tbl.setColumns(config.getList(String.format(//"tasks.table(%d).columns", i)));//tbl.setTemplate(config.getString(String.format(//"tasks.table(%d)[@template]", i)));//tbl.setWaitTime(config.getString(String.format(//"tasks.table(%d)[@waitTime]", i)));//tbl.setRunTime(config.getString(String.format(//"tasks.table(%d)[@runTime]", i)));//tbl.setSingle(config.getString(String.format(//"tasks.table(%d)[@single]", i)));//tbl.setUrl(config.getString(String.format("tasks.table(%d).url", i)));////if ( StringUtils.equals(TaskType.MULTI_GETTER, tbl.getTemplate())) {//TableItem item = new TableItem();////item.setName(config.getString(String.format(//"tasks.table(%d).item[@name]", i)));//item.setInfo(config.getString(String.format(//"tasks.table(%d).item[@info]", i)));//item.setRef(config.getString(String.format(//"tasks.table(%d).item[@ref]", i)));//item.setColumns(config.getList(String.format(//"tasks.table(%d).item.columns", i)));//item.setUrl(config.getString(String.format("tasks.table(%d).item.url", i)));////tbl.setItem(item);//}////tblLst.add(tbl);//}////gc.setTblLst(tblLst);////return gc;//return null;}}
有以下几点不理解:
①List<?> tasks = config.getList("tasks.table[@name]");是什么?tasks、table我猜测是conf.xml里面的开头的标签【根标签附近的层级的标签】名字,具体我也没有conf.xml的内容格式,不知是啥。
XMLParserSample.class.getClassLoader().getResource("conf.xml")
这一串的意思像是利用了反射的知识内容,获取解析器?
②Configuration 这种解析xml文件的方式我没接触过,之前只知道sax和dom4j。经过资料查询,算是有所了解学习。参考 http://blog.csdn.net/t1dmzks/article/details/64500731 ,
Apache Commons Configuration 读取xml文件的功能。参考:http://blog.csdn.net/qq_30739519/article/details/50865526
③config.getString(String.format("tasks.table(%d)[@name]", i)));
这种写法一方面是String的format方法的使用,相关知识可以参考 http://blog.csdn.net/lonely_fireworks/article/details/7962171/
另一方面,结合②,[@name]这种语法是 XPATH的知识点。关于XPATH,我突然想起俩年前初学php入门时好像学过了解下,不过一直没用到过,现在竟然忘得一干二净认不出来,-_-||
demo中的实体bean Table类,demo中没有对应的代码,也没有conf.xml文件,还有最后的那个gc,都不知道是干啥的,导致我很不理解疑问①的遍历getList()到底是什么原理。一脸懵。循环体中无非就是从xml取出对应数据封装到实体bean的属性里面,dao层用的hibernate,但是demo里面没有sql,所以我才猜测是利用的hibernate和数据库表的映射关系来存储数据的,个人也没有学习过hibernate,只是有点接触。最后返回的对象是什么gc是什么也是一头雾水。以上为开发前对demo的整体感受简述。
开发需求说明:
AAAA表中,ROWGUID、UPDATE_DATE两个字段作联合主键(存在ROWGUID相同UPDATE_DATE不同的多条记录),另有一个字段MATERIAL_INFO,存的就是下述xml内容的字符串形式的数据。我的任务就是取出这三个字段的值,封装到三个新建表【建表语句在下面】对应的三个java bean里面,然后映射数据入库。(多条记录ROWGUID相同就取UPDATE_DATE最大的那条数据),另有过滤条件process=0,sql如下:
select ROWGUID ,max(UPDATE_DATE) UPDATE_DATE,MATERIAL_INFO from AAAA where PROCESS = '0' group by ROWGUID ";
取出数据后,因为存放到三张表里面。表与表之间的字段关联关系全在下面的建表语句的注释中说明了(稍微有点复杂,熟悉了就好理解了)
贴上要开发分析的xml文件的内容格式:
<?xml version="1.0" encoding="utf-8"?><DATAAREA> <CHANGE_FLAG>1</CHANGE_FLAG> <MATERIALS> <MATERIAL> <MATERIALGUID>2fadsfdsfsdc22ed9d</MATERIALGUID> <NAME>水电费水电费水电费</NAME> <FORMAT>1</FORMAT> <DETAIL_REQUIREMENT>一份</DETAIL_REQUIREMENT> <NECESSITY>1</NECESSITY> <NECESSITY_DESC/> <MATERIAL_RES/> <IS_RQ/> <EMPTYTABLE> <FILENAME/> <FILECONTENT/> <FILEURL/> </EMPTYTABLE> <EXAMPLETABLE> <FILENAME/> <FILECONTENT/> <FILEURL/> </EXAMPLETABLE> <BAK/> </MATERIAL> <MATERIAL> <MATERIALGUID>1fsdfdsfsd07a525a</MATERIALGUID> <NAME>发送到发的所发生的</NAME> <FORMAT>1</FORMAT> <DETAIL_REQUIREMENT>1份</DETAIL_REQUIREMENT> <NECESSITY>1</NECESSITY> <NECESSITY_DESC/> <MATERIAL_RES/> <IS_RQ/> <EMPTYTABLE> <FILENAME/> <FILECONTENT/> <FILEURL/> </EMPTYTABLE> <EXAMPLETABLE> <FILENAME/> <FILECONTENT/> <FILEURL/> </EXAMPLETABLE> <BAK/> </MATERIAL> ......等多个<MATERIAL></MATERIAL> </MATERIALS></DATAAREA>
新建三张表的建表语句:【表之间存在 逻辑外键的关系连接】
DROP TABLE IF EXISTS `material_info`;CREATE TABLE `material_info` ( `MATERIALGUID` varchar(255) NOT NULL COMMENT '主键 材料标识', `QLSX_ROWGUID` varchar(50) NOT NULL COMMENT ' AAAA 表中的rowguid对应的字段值', `QLSX_UPDATE_DATE` datetime NOT NULL COMMENT ' AAAA 表中的update_date对应的字段值', `NAME` varchar(512) NOT NULL COMMENT '材料名称', `FORMAT` varchar(8) COMMENT '材料形式,代码项:材料形式', `DETAIL_REQUIREMENT` varchar(100) COMMENT '材料详细要求', `NECESSITY` varchar(8) COMMENT '材料必要性,代码项:材料必要性', `NECESSITY_DESC` varchar(255) COMMENT '材料必要性描述', `IS_RQ` varchar(255) COMMENT '', `BAK` varchar(512) COMMENT '备注', `UPDATE_DATE` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`materialguid`)) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='权力事项库-申报材料主表';DROP TABLE IF EXISTS `material_res`;CREATE TABLE `material_res` ( `ID` bigint unsigned auto_increment COMMENT '物理主键,无意义', `MATERIALGUID` varchar(255) NOT NULL COMMENT '逻辑主键,参照material_info表中对应的materialguid字段值', `MATERIAL_RES` varchar(255) COMMENT '材料出具单位', `EXAMPLETABLE` CHAR(1) default '0' NOT NULL COMMENT 'FILENAME、FILECONTENT、FILEURL的xml中的父标签是否为EXAMPLETABLE 1是 0不是', `FILENAME` varchar(255) COMMENT '空白表格文件名称(完整文件名,带后缀)', `FILECONTENT` longtext COMMENT '文件内容,BASE64编码格式', `FILEURL` varchar(255) COMMENT '附件链接地址(公有云地址)', `UPDATE_DATE` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='权力事项库-申报材料出具单位和材料信息表';DROP TABLE IF EXISTS `material_trans_log`;CREATE TABLE `material_trans_log` ( `ID` bigint unsigned auto_increment COMMENT '物理主键,无意义', `QLSX_ROWGUID` varchar(50) NOT NULL COMMENT ' AAAA 表中的rowguid对应的字段值', `QLSX_UPDATE_DATE` datetime NOT NULL COMMENT ' AAAA 表中的update_date对应的字段值', `QLSX_CHANGE_FLAG` varchar(10) NOT NULL COMMENT '0:未变化,1:变化', `CREATE_TIME` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='权力事项库-申报材料解析入库的日志表';
取出三个字段的值,做参数传给自己写的xml解析方法parse();在解析方法中进行xml解析并进行对应bean的封装。
经过请示可以不必非要按照demo,果断改用dom4j开始解析赋值。自己的代码如下【踩坑提示:在处理xml时,一定要注意标签之间的层级关系以及数量关系,不然容易出现逻辑错误】】:
public XmlParserVO parse(String rowguid,Timestamp updatedate,String materialinfo) throws DocumentException {//参数就是刚刚取出的三个字段的值Document document = DocumentHelper.parseText(materialinfo); // materialinfo 为xml格式字符串//一个xml就一个 CHANGE_FLAG 标签,不在material标签内部,故在遍历前取出 String changeFlag = document.selectSingleNode("/DATAAREA/CHANGE_FLAG").getText();//materialinfo MaterialInfo MaterialTransLog 为新建三张表对应的类beanList<MaterialRes> listRes = new ArrayList<MaterialRes>();List<MaterialInfo> listInfo = new ArrayList<MaterialInfo>();MaterialTransLog materialtrauslog = new MaterialTransLog();materialtrauslog.setQLSX_ROWGUID(rowguid);materialtrauslog.setQLSX_UPDATE_DATE(updatedate);materialtrauslog.setQLSX_CHANGE_FLAG(changeFlag);//获取MATERIALS节点Node nodeMaterials = document.selectSingleNode("/DATAAREA/MATERIALS");//取得MATERIALS节点下所有名为“MATERIAL”的子节点,并进行遍历. 遍历后每一个元素就是一组 MATERIAL 标签中的值 List listMaterial = ((Element) nodeMaterials).elements("MATERIAL"); for (Iterator it = listMaterial.iterator(); it.hasNext();) { Element elmMaterial = (Element) it.next(); // 获取一个 MATERIAL 节点 //提前取出materialRes、materialGuid,供下面material_res复用String materialRes = elmMaterial.element("MATERIAL_RES").getText();String materialGuid = elmMaterial.element("MATERIALGUID").getText();MaterialInfo materialInfo = new MaterialInfo();materialInfo.setMATERIALGUID(materialGuid);materialInfo.setQLSX_ROWGUID(rowguid);materialInfo.setQLSX_UPDATE_DATE(updatedate);materialInfo.setNAME(elmMaterial.element("NAME").getText());materialInfo.setFORMAT(elmMaterial.element("FORMAT").getText());materialInfo.setDETAIL_REQUIREMENT(elmMaterial.element("DETAIL_REQUIREMENT").getText());materialInfo.setNECESSITY(elmMaterial.element("NECESSITY").getText());materialInfo.setNECESSITY_DESC(elmMaterial.element("NECESSITY_DESC").getText());materialInfo.setIS_RQ(elmMaterial.element("IS_RQ").getText());materialInfo.setBAK(elmMaterial.element("BAK").getText());listInfo.add(materialInfo);/* * EMPTYTABLE EXAMPLETABLE 标签(可能有多个)下 均有FILENAME、FILECONTENT、FILEURL子标签, * 会产生多个数据,遍历后在每一个数据下再进行bean的创建封装,以对应每一条记录。*/List listEmptytable = elmMaterial.elements("EMPTYTABLE");for (Iterator it2 = listEmptytable.iterator(); it2.hasNext();) { Element elmEmptytable = (Element) it2.next(); // 获取一个 EMPTYTABLE 节点 MaterialRes materialres = new MaterialRes(); materialres.setMATERIALGUID(materialGuid);materialres.setMATERIAL_RES(materialRes);materialres.setEXAMPLETABLE(EnumNumber.NUMZERO.getNumber()); //枚举类型 值为0materialres.setFILENAME(elmEmptytable.element("elmEmptytable").getText());materialres.setFILECONTENT(elmEmptytable.element("FILECONTENT").getText());materialres.setFILEURL(elmEmptytable.element("FILEURL").getText());listRes.add(materialres);}List listExampletable = elmMaterial.elements("EXAMPLETABLE");for (Iterator it3 = listExampletable.iterator(); it3.hasNext();) { Element elmExampletable = (Element) it3.next(); // 获取一个 EXAMPLETABLE 节点 MaterialRes materialres = new MaterialRes(); materialres.setMATERIALGUID(materialGuid);materialres.setMATERIAL_RES(materialRes);materialres.setEXAMPLETABLE(EnumNumber.NUMONE.getNumber()); //枚举类型 值为1materialres.setFILENAME(elmExampletable.element("elmEmptytable").getText());materialres.setFILECONTENT(elmExampletable.element("FILECONTENT").getText());materialres.setFILEURL(elmExampletable.element("FILEURL").getText());listRes.add(materialres);} } //返回封装好的数据集合XmlParserVO xmlparservo = new XmlParserVO(listRes, listInfo, materialtrauslog);return xmlparservo;我把一些细节以及修改在代码中用注释进行了标注,以便于理解。
小细节:
①枚举类型的使用,而不是直接给值1或者0,枚举的好处在此不再赘述。【我也是被经理指出后的建议才修改的】,其实这里可以直接就在本类中定义常量的形式代替枚举,因为别的地方也没有用到。总之不要直接在代码中去写“0”这一类的代码。目的是为了以后便与修改。
②最后返回数据用 数据传输对象 封装返回。
③ 变量命名规范,我个人的坏毛病总是喜欢用下划线,在这里强调下能用驼峰别用下划线,推荐安装阿里的java开发规范插件,代码至少要做到工整,还有,注释要完整,比如我经常会忘记在方法的注释中只写个简洁的说明,而不写参数@param等注释,这样很不规范严谨,给后来的开发者维护带来困难。
对返回的集合遍历取出bean,作为object参数传入dao,进行数据库插入:
@SuppressWarnings("rawtypes")public class GetMaterialInfoDao extends HibernateEntityDao {private SessionFactory sessionFactory;public SessionFactory getSessionFactory() {return sessionFactory;}public void setSessionFactory(SessionFactory sessionFactory) {this.sessionFactory = sessionFactory;super.sessionFactory = sessionFactory;}@SuppressWarnings("unchecked")@Transactionalpublic void saveDate(Object obj){Session session = sessionFactory.getCurrentSession();session.save(obj);}}
这段代码其实就是我不会用hibernate的体现。-save()方法还用在dao层自己写吗??? ̄□ ̄||
功能逻辑上到此就完成了。但是因为一些细节,导致一直在不断修改,也算是踩坑记录吧。
1、当数据存入新建的表之后,要把 AAAA 表中已经取出并入库的该条数据的process字段从0 改为1 ,来标志着该条数据记录已经完成取值入库的处理流程。一开始我是用rowguid和update_date两个字段参数去 AAAA 表更新process字段,但是经理说我逻辑不对,为什么?我用做更新process字段传递的这两个参数rowguid和update_date值,来自于最开始从 AAAA 中取回xml数据时的那个查询语句,这个update_date 是取得最大值【max(UPDATE_DATE) UPDATE_DATE】,如果我还用这个update_date做参数去定位数据记录,那么我只能更新 AAAA 表中该rowguid下rowguid相同,update_date最大的那条数据的process,其他的给漏掉了。比如:
---------------------------------------------------------
rowguid | update_date |process
12 | 2017-08-13 | 0 ---------------也应该改为1,但被漏掉了
12 | 2017-08-14 | 0 ---------------也应该改为1,但被漏掉了
12 | 2017-08-15 | 0 ---------------改为 1
开发过程中考虑的不严谨不周全,【关于这一点,还有,在把解析出的数据存入库之前,再做一个验证,去material_info表里面查询一下这条数据是否已经存在,如果已存在,删了,再把现在刚解析出的数据插入进去,这一点也是我不曾考虑到的】,虽然对业务流程不熟悉,毕竟只是单一接到功能需求,大范围业务流程背景并不清楚,但是严谨周全的工作思路还是必须的。不然就是一堆bug了。。。。
2、 在最开始从 AAAA 表中取数据时,内存溢出异常。三十万条数据,我直接就一次取出放入list接收了,根本就没有考虑可行的意识,只是直接认为这样能实现功能,还是在实现功能的层面去开发。肯定要分页去查询了啊(mysql limit)。改进的过程中,先获取总记录数,定义一次查多少条,计算查询出次数,然后分页 limit 查询 。再从另外一角度考虑下,为什么不在这里加一个多线程去执行,这样不是更快吗,现在肯定很慢。再次改进,代码如下:
------------------------------------添加 线程 并 分页 从 _new表 查询 xml 等数据 代码---------------------------------
private static final int LIMIT = 50;private final static Executor executor = Executors.newCachedThreadPool();//启用多线程@Overridepublic void dataHanding() {Long countNum = qltQlsxDao.getCountNum();int times = 0;if( 0 == countNum % LIMIT ){times = (int) (countNum / LIMIT);}else{times = (int) (countNum / LIMIT) +1;}//int times = (int) Math.floor(countNum / LIMIT);//分页查询 避免内存溢出for (int i = 1; i <= times; i++) {//List<QltQlsxNewDto> dataLst = qltQlsxDao.getMaterialInfo((i - 1) * LIMIT, LIMIT);//if ( null == dataLst || dataLst.isEmpty() ) {//logger.info("无数据需要处理");//return ;//}final int j=i; executor.execute(new Runnable() { @Override public void run() { try{ List<QltQlsxNewDto> dataLst = qltQlsxDao.getMaterialInfo((j - 1) * LIMIT, LIMIT); if ( null == dataLst || dataLst.isEmpty() ) { logger.info("无数据需要处理"); return ; } parseXMLInfoAndSave(dataLst); }catch(Exception e){ } }}); }}
经过实际测试,速度比原来快的多得多。参考:http://blog.csdn.net/bestcxx/article/details/49472035
----------------------------------------------------代码完 分割线---------------------------------------------------------------
3、关于上面的limit,给dao层sql语句穿两个参数,一个是开始取值的下标m,一个是每次取多少个n,其实就是limit 的两个参数 limit m,n
如果最后一次分页,未取数据剩余数目小于 n,这是没关系的,不受影响。最后一次分页剩45个数据没取,我每次都取50,也不会报错的啊。可我犯糊涂了,进行判断是不是最后一次的分页,是的话,就把传的参数n改为经过计算得出的最后还没取出的数目,比如 limit(m,45)。
4、还是关于代码的编写,尽量进行封装复用。
比如上面xml解析代码中的
materialInfo.setDETAIL_REQUIREMENT(elmMaterial.element("DETAIL_REQUIREMENT").getText());
更改后把
elmMaterial.element("DETAIL_REQUIREMENT").getText()
放到一个方法中去,
// 封装从Node中获取Element,并获取Textprivate String getElementAsText(Element e, String nodeName ) {Element targetElement = e.element(nodeName);if ( null == targetElement ) return null;return targetElement.getText();}5、注解事务 改为 手动事务
这个要看具体场景灵活选择。如果使用注解在方法A上,A中又调用方法B,B里面其中 x部分的代码次啊是真正想要进行事务控制的地方,就这x处手动开启 运用事务,而我之前只是简单的把事务注解放在A上面完事,压根就没有考虑这个方面的问题。。。。
session.beginTransaction();xxxxxxxxxxxxxxxxxxxxxxx;
session.getTransaction().commit();
6、在新建dao层service层时,注意为以后的业务扩展考虑,不同表的增删改查操作方法不要写在一个dao里面,按照业务新建dao。其它层次也是同理。说到这想起了之前在北京的一位同事,当时给我讲解传参的场景,客户需求总是变来变去,有时候参数传递自己不要写的那么死,给自己留条路,便于自己修改,也利于项目代码优化。
在此,真心向给与我过知道帮助的同事朋友说一声谢谢。ღ( ´・ᴗ・` )比心
没有什么特别大的高深内容,但都是我每一步菜的坑和小结心得吧,警醒自己吸取教训,努力进步。
- 解析xml数据存入bean映射到数据库的 需求解决过程
- xstream 解析xml时只取想要的数据到bean
- xml数据存入数据库的解决办法
- 利用dom4j 解析xml 文档并将数据存入数据库
- 从数据库中取出数据存入memcache的过程实例
- Python leveldb数据库 把txt的数据存入到leveldb
- python3将接收到的json数据存入数据库【mysql】
- 解析增量xml数据到数据库
- WebService客户端,接收数据解析存入数据库
- Spring 3.2 源码解析 -- XML bean 元素到 BeanDefinition 解析过程
- 通过servlet从气象局接口获取到天气预报的json数据,并解析得到的json数据存入数据库(案例)
- 使用安卓内置的pull解析器解析xml文档,并自动映射成bean
- XML数据映射到javaBean
- asp数据转换为xml格式存入数据库 ,又从库中读取xml显示到页面
- MYSQL存储过程在XML文本信息中读取数据节点信息,将节点中的数据存入数据库
- Excel文件上传服务器并解析存入数据库的整套过程(2003--2013都可试)
- Scrapy爬虫入门系列3 将抓取到的数据存入数据库与验证数据有效性
- 用Digester解析xml到bean
- 笔记2017.12.19
- (备忘录)Rxjava2+Retrofit封装1
- 递归
- 前端冷知识集锦
- 点到线段的距离
- 解析xml数据存入bean映射到数据库的 需求解决过程
- MIT-BIH ECG 信号的数据读取方法和Matlab程序
- 各种连接池性能对比测试
- 手机要不要贴膜, 贴膜的危害你知道几个?
- 可重入函数与不可重入函数(转)
- maven 加载不到css文件和js
- 阿里创新自动化测试工具平台--Doom
- 2017马斯克关于AI和机器人的观点盘点
- 每日心得2017.12.15