Master-Worker模式

      Master-Worker模式是常用的并行计算模式。它的核心思想是系统由两类线程协同工作：Master和Worker线程。Master进程负责接收和分配任务，Worker进程负责处理子任务。当各个Worker进程将子任务处理完后，将结果返回给Master进程，由Master进行归纳和汇总，从而得到系统结果。

      Master-Worker模式的好处是，它能将大任务分解成若干个小任务，并发执行，从而提高系统性能。而对于系统请求者Client来说，任务一旦提交，Master进程就会立刻分配任务并立即返回，并不会等系统处理完全部任务再返回，其处理过程是异步的。

Task.java

package Work_Master;/** * Created by 胖大星 on 2017/9/13. */public class Task {    private int id;    private String name;    private int prices;    public int getId() {        return id;    }    public void setId(int id) {        this.id = id;    }    public String getName() {        return name;    }    public void setName(String name) {        this.name = name;    }    public int getPrices() {        return prices;    }    public void setPrices(int prices) {        this.prices = prices;    }}

Master.java

package Work_Master;import java.util.HashMap;import java.util.Map;import java.util.concurrent.ConcurrentHashMap;import java.util.concurrent.ConcurrentLinkedQueue;/** * Created by 胖大星 on 2017/9/13. */public class Master {    //1.应该有一个承装任务的集合    private ConcurrentLinkedQueue<Task> workQueue = new ConcurrentLinkedQueue<Task>();    //2.使用HashMap去承装所有的work对象    private HashMap<String,Thread> workers = new HashMap<String,Thread>();    //3.使用一个容器承装每一个work并非执行任务的结果集    private  ConcurrentHashMap<String,Object> resultMap = new ConcurrentHashMap<String,Object>();    //4.构造方法    public Master(Worker work, int workerCount){        //每一个worker对象都需要有Master的引用workQueue用于任务的领取，resultMap用于任务的提交        work.setWorkerQueue(this.workQueue);        work.setResultMap(this.resultMap);        for (int i = 0; i < workerCount; i++) {            //key表示每一个worker的名字，value表示线程执行对象             workers.put("子节点： " + Integer.toString(i), new Thread(work));        }    }    //5.提交方法    public void submit(Task task){        this.workQueue.add(task);    }    //6.需要一个执行的方法（启动应用程序让所有的worker工作）    public void execute(){        for (Map.Entry<String, Thread> me: workers.entrySet()){            me.getValue().start();        }    }    //判断线程是否执行完毕    public boolean isComplete(){        for (Map.Entry<String,Thread> me : workers.entrySet() ) {            if (me.getValue().getState() != Thread.State.TERMINATED)                return false;        }        return true;    }    //返回结果集数据    public int getResult(){        int ret = 0;        for (Map.Entry<String, Object> me : resultMap.entrySet()) {            //汇总的逻辑。。。            ret += (Integer)me.getValue();        }        return ret;    }}

Worker.java

package Work_Master;import java.util.concurrent.ConcurrentHashMap;import java.util.concurrent.ConcurrentLinkedQueue;/** * Created by 胖大星 on 2017/9/13. */    //每个worker必须要实现Runnable接口public class Worker implements Runnable{    //每一个worker对象都需要master的ConcurrentHashMap的引用    private ConcurrentHashMap<String,Object> resultMap;    //每一个worker对象都需要master的ConcurrentLinkedQueue的引用    private ConcurrentLinkedQueue<Task> workerQueue;    public void setWorkerQueue(ConcurrentLinkedQueue<Task> workerQueue) {        this.workerQueue = workerQueue;    }    public void setResultMap(ConcurrentHashMap<String,Object> resultMap) {        this.resultMap = resultMap;    }    @Override    public void run() {        while (true){            Task input = this.workerQueue.poll();            if (input == null) break;            //真正去做业务处理   可以利用MyWorker在此执行多个业务            Object output = MyWorker.handle(input);            this.resultMap.put(Integer.toString(input.getId()),output);        }    }    //用于子类继承，增强解耦    public static Object handle(Task input) {        return null;    }}

MyWorker.java

package Work_Master;/** * Created by 胖大星 on 2017/9/13. */public class MyWorker extends Worker {    //核心部分    public static Object handle(Task input) {        Object output = null;        try {            //表示处理task任务耗时，可能是数据的加工，也可能是操作数据库            Thread.sleep(500);            output = input.getPrices();        } catch (InterruptedException e) {            e.printStackTrace();        }        return output;    }}

Main.java

package Work_Master;import java.util.Random;/** * Created by 胖大星 on 2017/9/13. */public class Main {    public static void main(String[] args) {        //Runtime.getRuntime().availableProcessors() 可自定义执行线程数        Master master = new Master(new MyWorker(),Runtime.getRuntime().availableProcessors());        System.out.println("当前计算机可用线程数量："+Runtime.getRuntime().availableProcessors());        Random random = new Random();        for (int i = 0; i < 100; i++) {            Task t = new Task();            t.setId(i);            t.setName("task: " + i);            t.setPrices(random.nextInt(1000));            master.submit(t);        }        master.execute();        long start = System.currentTimeMillis();        while (true){            if (master.isComplete())            {                long end = System.currentTimeMillis() - start;                int ret = master.getResult();                System.out.println("最终结果为： " +ret + ", 执行耗时： "+end);                break;            }        }    }}

源码下载