一段分析数据的总结

业务背景：

    有一个表中存在1亿的数据，存着个人信息(城市、单位、学校等内容)，而这些内容在字段中存储的是json，需要将这些数据分析后，算出这些内容的离散模型，取出TOP100。

    

    最先的实现方案是批量查出来1W数据，分析后一条条更新，发现更新太慢。随后做了如下改进，也是总结：

1、先查询后更新的操作，用MySQL考虑 ON DUPLICATE KEY UPDATE

   但是表中必须有主键或者唯一索引

2、大量操作要批量更新，eg：

    

INSERT INTO sina_user_count(name,type,count) VALUES (?,?,?),(?,?,?),(?,?,?)...

                        

ON DUPLICATE KEY UPDATE count=count+VALUES(count)

3、不要拼接字符串，要用占位符“？”,因为存储内容中有特殊字符，如果拼接SQL会遇到异常

4、循环中注意清除缓存的数据，这是写了一个Bug

代码片段如下：

public void analysis() {        final long countId = 1;           Map<String, Integer> comps = new HashMap<String, Integer>(1000);               Map<String, Object> row = this.findForMap("select * from table_count where id=?", countId);        Long maxId = (Long)  row.get("count");        List<Map<String, Object>> list = this.findForList("select * from table where id> ? limit ?", maxId, 10000);        while (list != null && !list.isEmpty()) {            for (Map<String, Object> map : list) {                maxId = (Long) map.get("id");                //获取json信息                String careers = (String) map.get("careers");                if (careers != null)) {                    try {                        JSONArray array = JSONArray.fromObject(careers);                        for (int i = 0; i < array.size(); i++) {                            JSONObject obj = array.getJSONObject(i);                            count(comps, obj.getString("company"));                        }                    } catch (Exception e) {                        logger.error(e.getMessage());                    }                }                            //更新            logger.info(">>>>>>>>>>>>>>>>> update start");            updateCount(comps, 1);            logger.info(">>>>>>>>>>>>>>>>>update end");            //更新最大ID和查询            this.update("update_sina_user_count_max", maxId, countId);            logger.info(">>>>>>>>>>>>>>>>>>>=" + maxId);            list = this.findForList("query_sina_user_1", maxId, 10000);            logger.info(">>>>>>>>>>>>>>>>>list.size=" + list.size());        }    }    private void count(Map<String, Integer> map, String key) {        if (DataUtil.isEmpty(key) || key.length() < 2)            return;        if (map.containsKey(key)) {            Integer val = map.get(key);            map.put(key, ++val);        } else {            map.put(key, 1);        }    }    private void updateCount(Map<String, Integer> map, int type) {        StringBuilder content = new StringBuilder();        List<Object> params = Lists.newArrayList();        int i = 0;        for (String name : map.keySet()) {            Integer count = map.get(name);            content.append("(?,?,?)");            params.add(name);            params.add(type);            params.add(count);            if (++i < 10000) {                content.append(",");            } else {                String sql = "INSERT into table_count(name,type,count) VALUES " + content.toString()                        + " ON DUPLICATE KEY UPDATE count=count+VALUES(count)";                logger.info(">>>>>>>>>>>>>>>>>inner:" + i + ",type:" + type);                this.getJdbc(0).update(sql, params.toArray());                content = new StringBuilder();                i = 0;                params.clear();            }        }        if (!params.isEmpty()) {            String sql = "INSERT into  table_count(name,type,count) VALUES " + content.toString()                    + "('最大ID',0,0) ON DUPLICATE KEY UPDATE count=count+VALUES(count)";            logger.info(">>>>>>>>>>>>>>>>>outer:" + i + ",type:" + type);            this.update(sql, params.toArray());        }        //第一版程序没有此代码，导致map越来越大，低级错误啊        map.clear();    }