进程池和线程池

用new、malloc申请内存时，由于每次申请的大小不同，最后可能导致会有许多内存碎片无法使用，造成内存浪费和不好管理的问题。内存池则是在真正使用内存之前，先申请分配一定数量的、大小相等的内存块留做备用。当有新的内存需求时，就从内存池中分出一部分内存块，若内存块不够则继续申请新的内存。这样做有效的避免了内存碎片，提高了内存使用效率。

而进程池（线程池与进程池的概念基本一致）就引用了内存池的思想，由服务器预先创建一组进程，进程池中所有子进程都运行相同的代码，拥有相同的属性，如：优先级、PGID（进程组ID）。

当有新的任务来到时，主进程将通过某种方式选择进程池中的某一个子进程来为之服务。相比于动态创建子进程，选择一个已经存在的子进程的代价显得小得多。至于主进程选择哪个子进程来为新任务服务，则有两种方法：

主进程使用某种算法来主动选择子进程。最简单、最常用的算法是随机算法和 Round Robin （轮流算法）。

1. 主进程和所有子进程通过一个共享的工作队列来同步，子进程都睡眠在该工作队列上。当有新的任务到来时，主进程将任务添加到工作队列中。这将唤醒正在等待任务的子进程，不过只有一个子进程将获得新任务的“接管权”，它可以从工作队列中取出任务并执行之，而其他子进程将继续睡眠在工作队列上。
2. 当选择好子进程后，主进程还需要使用某种通知机制来告诉目标子进程有新任务需要处理，并传递必要的数据。最简单的方式是，在父进程和子进程之间预先建立好一条管道，然后通过管道来实现所有的进程间通信。在父线程和子线程之间传递数据就要简单得多，因为我们可以把这些数据定义为全局，那么它们本身就是被所有线程共享的。

在使用进程池处理多客户任务时，首先考虑的一个问题是：监听socket和连接socket是否都由主进程来统一管理。并发模型，其中半同步/半反应堆模式是由主进程统一管理这两种socket的。而高效的半同步/半异步和领导者/追随者模式，则是由主进程管理所有监听socket，而各个子进程分别管理属于自己的连接socket的。对于前一种情况，主进程接受新的连接以得到连接socket，然后它需要将该socket传递给子进程（对于线程池而言，父线程将socket传递给子线程是很简单的。因为他们可以很容易地共享该socket。但对于进程池而言，必须通过管道传输）。后一种情况的灵活性更大一些，因为子进程可以自己调用accept来接受新的连接，这样该父进程就无须向子进程传递socket。而只需要简单地通知一声：“我检测到新的连接，你来接受它。

常连接，即一个客户的多次请求可以复用一个TCP连接。那么，在设计进程池时还需要考虑：一个客户连接上的所有任务是否始终由一个子进程来处理。如果说客户任务是无状态的，那么我们可以考虑使用不同的进程为该客户不同请求服务。

但如果客户任务是存在上下文关系的，则最好一直用同一个进程来为之服务，否则实现起来比较麻烦，因为我们不得不在各个子进程传递上下文数据，我们采用epoll的EPOLLONESHOT事件，这一事件能够确保一个客户连接在整个生命周期中仅被一个线程处理。

线程池代码：

#include <stdio.h>  #include <stdlib.h>  #include <unistd.h>  #include <sys/types.h>  #include <pthread.h>  #include <assert.h>  /* 线程池里所有运行和等待的任务都是一个CThread_worker * 由于所有任务都在链表里，所以是一个链表结构 */  typedef struct worker  {    /*回调函数，任务运行时会调用此函数，注意也可声明成其它形式*/      void *(*process) (void *arg);      void *arg;/*回调函数的参数*/      struct worker *next;                } CThread_worker;  /*线程池结构*/  typedef struct  {    pthread_mutex_t queue_lock;      pthread_cond_t queue_ready;      /*链表结构，线程池中所有等待任务*/      CThread_worker *queue_head;      /*是否销毁线程池*/      int shutdown;      pthread_t *threadid;      /*线程池中允许的活动线程数目*/      int max_thread_num;      /*当前等待队列的任务数目*/      int cur_queue_size;  } CThread_pool;  int pool_add_worker (void *(*process) (void *arg), void *arg);  void *thread_routine (void *arg);  //share resource  static CThread_pool *pool = NULL;  void  pool_init (int max_thread_num)  {    pool = (CThread_pool *) malloc (sizeof (CThread_pool));              pthread_mutex_init (&(pool->queue_lock), NULL);      pthread_cond_init (&(pool->queue_ready), NULL);      pool->queue_head = NULL;                          pool->max_thread_num = max_thread_num;      pool->cur_queue_size = 0;      pool->shutdown = 0;      pool->threadid = (pthread_t *) malloc (max_thread_num * sizeof (pthread_t));      int i = 0;      for (i = 0; i < max_thread_num; i++)      {        pthread_create (&(pool->threadid[i]), NULL, thread_routine,NULL);    }  }  /*向线程池中加入任务*/  int pool_add_worker (void *(*process) (void *arg), void *arg)  {    /*构造一个新任务*/      CThread_worker *newworker = (CThread_worker *) malloc (sizeof (CThread_worker));      newworker->process = process;    newworker->arg = arg;      newworker->next = NULL;/*别忘置空*/    pthread_mutex_lock (&(pool->queue_lock));      /*将任务加入到等待队列中*/      CThread_worker *member = pool->queue_head;      if (member != NULL)      {        while (member->next != NULL)              member = member->next;          member->next = newworker;      }      else      {        pool->queue_head = newworker;      }      assert (pool->queue_head != NULL);      pool->cur_queue_size++;      pthread_mutex_unlock (&(pool->queue_lock));      /*好了，等待队列中有任务了，唤醒一个等待线程；      * 注意如果所有线程都在忙碌，这句没有任何作用*/      pthread_cond_signal (&(pool->queue_ready));      return 0;  }/*销毁线程池，等待队列中的任务不会再被执行，但是正在运行的线程会一直  * 把任务运行完后再退出*/  int pool_destroy ()  {    if (pool->shutdown)          return -1;/*防止两次调用*/      pool->shutdown = 1;     /*唤醒所有等待线程，线程池要销毁了*/      pthread_cond_broadcast (&(pool->queue_ready));      /*阻塞等待线程退出，否则就成僵尸了*/      int i;      for (i = 0; i < pool->max_thread_num; i++)          pthread_join (pool->threadid[i], NULL);      free (pool->threadid);      /*销毁等待队列*/      CThread_worker *head = NULL;      while (pool->queue_head != NULL)      {        head = pool->queue_head;        pool->queue_head = pool->queue_head->next;        free (head);    }      /*条件变量和互斥量也别忘了销毁*/      pthread_mutex_destroy(&(pool->queue_lock));      pthread_cond_destroy(&(pool->queue_ready));      free (pool);      /*销毁后指针置空是个好习惯*/      pool=NULL;      return 0;  }  void *thread_routine (void *arg)  {    printf ("starting thread 0x%x\n", pthread_self ());      while (1)      {        pthread_mutex_lock (&(pool->queue_lock));          /*如果等待队列为0并且不销毁线程池，则处于阻塞状态; 注意          * pthread_cond_wait是一个原子操作，等待前会解锁，唤醒后会加锁*/        while (pool->cur_queue_size == 0 && !pool->shutdown)          {            printf ("thread 0x%x is waiting\n", pthread_self ());              pthread_cond_wait (&(pool->queue_ready), &(pool->queue_lock));        }                                                                   /*线程池要销毁了*/          if (pool->shutdown)          {            /*遇到break,continue,return等跳转语句，千万不要忘记先解锁*/              pthread_mutex_unlock (&(pool->queue_lock));              printf ("thread 0x%x will exit\n", pthread_self ());              pthread_exit (NULL);          }          printf ("thread 0x%x is starting to work\n", pthread_self ());          /*assert是调试的好帮手*/          assert (pool->cur_queue_size != 0);          assert (pool->queue_head != NULL);          /*等待队列长度减去1，并取出链表中的头元素*/          pool->cur_queue_size--;         CThread_worker *worker = pool->queue_head;          pool->queue_head = worker->next;          pthread_mutex_unlock (&(pool->queue_lock));        /*调用回调函数，执行任务*/          (*(worker->process)) (worker->arg);          free (worker);          worker = NULL;      }      /*这一句应该是不可达的*/      pthread_exit (NULL);  }  //    下面是测试代码  void *myprocess (void *arg)  {    printf ("threadid is 0x%x, working on task %d\n", pthread_self (),*(int *) arg);      sleep (1);/*休息一秒，延长任务的执行时间*/      return NULL;  }  int main (int argc, char **argv)  {    pool_init (3);/*线程池中最多三个活动线程*/      /*连续向池中投入10个任务*/    int *workingnum = (int *) malloc (sizeof (int) * 10);    int i;      for (i = 0; i < 10; i++)      {        workingnum[i] = i;        pool_add_worker (myprocess, &workingnum[i]);      }      /*等待所有任务完成*/      sleep (5);      /*销毁线程池*/      pool_destroy ();      free (workingnum);      return 0;  }