关于多线程处理数据并发问题处理

数据量多时需要要多线程处理，尤其在集群环境下很可能发生资源竞争的情况，此时就需要谨慎的对数据加锁，如果加锁出了问题，也是个麻烦事。

为安全考虑，一般处理这种问题有几个步骤：

为此个业务加开关，如果出现问题，将开关关闭。但是遇到一些紧急问题，开关关闭会影响业务，这时就需要走以下逻辑：

1、数据量多，则数据取出后用线程池分批处理数据。

2、数据量不多，单线程就可以处理；建议建一个线程表专门处理线程锁问题。这里我们建一个asgin_thread的线程表，表中的字段有id,SYNSTATE,VERSION,其中SYNSTATE为同步状态，VERSION为版本号；其中的id是自己定义的，加锁时也只加锁这个表中的某一条数据，不能对业务表进行加锁，将事务放到biz层，这样的话整个biz层的逻辑同在一个事务内，加锁才起作用。此处用乐观锁处理，将asgin_thread的单条数据加锁后，统一业务层的其他逻辑都完成事务提交后锁释放。以下是代码：

while (running) {
      try {
        Thread.sleep(sleepTime);
      } catch (InterruptedException e) {
        log.error("异常:", e);
      }
      List<Bean> tasklist = null;
      try {
        tasklist = asignThreadBiz.update(loadCount);
        log.info("装载已锁定数据");
      } catch (Exception e) {
        log.error("线程出现锁冲突，重新进行取数据....！",e);
        continue;
      } 
      
      if (tasklist != null && !tasklist.isEmpty()) {
        
        WorkThread<List<Bean>> ecThread = createWorkThread();
        ecThread.setTaskList(tasklist);
        threadPool.execute(ecThread);
      }
      // 状态重制
      resetStatus();
    }

处理数据流程：

  asignDao.updateCount();  //线程表单条数据加锁
    List<Bean> retlist = new ArrayList<Bean>();
    
    int retval = BeantDao.setLock(loadcount); //打标记
    if(retval > 0){
      retlist = beantDao.loadLock(); //取数据
    }

乐观锁：

AsginThread asgin = this.load(100000L);
asgin.setSynstate(asgin.getSynstate()+1);
this.saveOrUpdate(asgin);