信息的合并

     这几天，感觉相当忙，却一天下来感觉没有做什么，有点穷忙的感觉，这种感觉很不爽，像是吃东西，像被东西塞住了喉咙，一直在吃，却没有吃了肚里多少。
     信息的合并总的来说，就是把多几记录合并成一个记录的过程。如下图所示：

      

       听上去不算是大事，却是一个新业务，涉及职保，居保，医保系统间的数据处理。从最原始的信息到信息格式的检查再次系统的导入，要操作的环节非常多，整个过程需要很大的责任心，细心和耐心当然还要有一定的数据处理能力，最后就是管理了吧，把自己整合的东西归类放置，以便日后的极速定位查找，（其实管理是最难的，比如说管理自己的东西，很多时候我们忘记了放在哪里，甚至忘记了文件的名字，就像在自己的家里找不到东西放哪里一样）

      好几天不爽的感觉让我觉得非常有必要把整个流程细致的以专业的数据流程图画下来，有任务前结束的前一天，我用了整整一天的时间把这个图画了出来，磨刀不误砍柴工，画出来之后，心里也就明朗多了。整理成文，以备借鉴。
附：程序流程图、数字标记详细说明。

 

    

 

 

程序流程图数字标记详细说明

1、  信息过滤：这一阶段的错误统计是格式的错误。

（1）       身份证位数是不是18位，有15位的老号，也有超过18位的不对的号码。

（2）       身份证格式是否正确，如最后一位是不是在写的X。

（3）       名字对不对：是不是出现了四个字的名字；名字后面有没有空格。

（4）       不能为空的字段有没有空现象。

（5）       性别有没有错误，如“男”写成了“那”。

（6）       有没有公式现象，如果进行多列的删除和剪切则会以不正确的英语字符格式进行显示。

这个阶段有一些深层的错误是很难检查出来的，比如说，一个人的出生日期是19500132，格式是完全正确的，但没有实际的意思，因为1月份是没有32号的，这样的错误可以有导入数据阶段检测出来，当然了，如果进行严格的检测，要花费更多的时间与精力，对某个字符进行提取，进行筛选与比较。比如提取了1月32号这天，我们提取了3之后，进行筛选和比较，之后的数字只能为1，因为每月最多31号。

2、  错误分类：这一阶段，系统会检测出因为各种错误也无法导入系统的人员信息，我们需要把这些人员信息导出excel报表，如果需要在数据库系统里更改，则需要找到相应的行复制身份证号码在系统里进行信息的更正。在这里要特意注意下面标住的第（6）种类型的错误，在步骤7中，我们进行合并的时候，系统里有很多记录是无法合并的，我们能够合并成功的记录一定要做好标记，比如用“0”标记已经合并成功，用“1”代表未成功，仍需要解决。

（1）       报盘中的姓名与数据库中的姓名不一致。

（2）       身份证校验码不对。

（3）       报盘中的性别不对。

（4）       报盘中的出生日期与数据库不符。

（5）       出生日期不合法，即上面所说的问题。。

（6）       数据库中存在多条记录。

3、  姓名不一致，有可能是教育局报盘错误，也有可能是数据库信息错误，此阶段，把姓名错误信息发给教育局先核查一遍。

4、  如果是数据库中的姓名错误，则更正系统中的姓名，这里要特别注意一个问题，如果出现错误的人员已经在居保系统中发放，则不能轻易修改，否则下月的养老金会发不上去。比如发放人员“张凤”对应的养老金的发放账号为“123”（这意味着“123”的银行账号对应的姓名就是“张凤”）而经我们查实后，此人的正确姓名为“张风”，则对此人员信息的修改不能简单的更改姓名，必须同时让此人提供对应“张风”的银行账号，这项工作往往需要的时间较长，因为张风要到银行去开新卡，在时间短，任务急的情况下，通常把此人从导入报盘信息中删去，等以后此人办了卡并提供社保处后，再另作处理。

5、  居保，社保，医保三系统进行个人编号的合并。

6、  如果数据库信息不对，暂停发放，待以后参保人员提供了正确的姓名和对应的银行卡号后，再恢复发放。

7、  在此阶段，是真正意义上的在计算机居保，医保，社保系统间的个人编号信息的合并，特意注意：对于合并成功的记录用“0”表示，对合并不成功的记录用“1”表示（步骤2已经提及），这所以这样做，是为了做好步骤12做准备工作，因为在第一轮合并完成后，再次导入报盘信息后，不仅无法合并的记录信息会导会再次被检测出来，新增的错误当然也包括记录新的无法合并的记录也会检测出来，这时我们导出的错误信息是复杂的，即有新的，又有旧的，怎么高效的进行工作，此时我们作的标记“0”，“1”将在步骤12中发挥重大的作用。当然这里还有一个不得不说的重要的问题，与业务无关，但与此项工作至关重要就是要标记的信息必须是确定无误，如果因为我们的不仔细把该标注为“0”的记录标记了“1”，则在步骤13的数据比对将无作意义了。因此，需要极大的仔细。

8、  数据库合并的过程过程中仍然存在姓名不一致问题，特别注意，三保系统的个人编号，居保与社保肯定是不一样的，而医保要么与居保一样，要么与社保一样。

9、  数百条的记录合并之后会与系统其它的再次比对，会新出现一些无法导入的数据，如报盘身份证号码与数据库系统一致而出生日期不一致的人员；也会由于之前的合并，更改了居保已经发放人员的姓名，此时这些被错误更改的人员也会被检测出来。需要重新改回正确的状态。

10、              重新对错误进行分类。

11、              检查有没有新增的姓名错误人员。

12、              对新增的姓名错误人员在系统更正。

13、              有没有新增2（6）所描述的多记重复记录，有的话继续合并，此阶段要用到数据比对技术。

数据比对可以用excel排序，也可以用excel公式进行比对，但对专业的人员通常用数据库比对命令（sql结构化查询语言），我们在新的错误表中可以直接去掉已经处理好的信息，只剩下很少一部分新增的需要我们解决的信息。效率大大提高并且准备无误。