Linux进程池与线程池以及线程池的简单实现

通过动态创建子进程（或者子线程）来实现并发服务器的。这样做有如下缺点：

1、 动态创建进程（或线程）是比较耗费时间的，这将导致较慢的客户响应。

2、动态创建的子进程（或子线程）通常只用来为一个客户服务（除非我们做特殊处理），这将导致系统上产生大量的细微进程（或者线程）。进程（或者线程）间的切换消费大量CPU时间。

3、动态创建的子进程是当前进程的完整映像。当前进程必须谨慎地管理其分配的文件描述符和堆内存等系统资源，从而使系统的可用资源急剧下降，进而影响服务器的性能。

4、由于系统的资源有限，能够创建的子进程（或线程）的数量有限，所以响应客户端请求的数量有上限。

• 进程池与线程池的概念
  进程池和线程池相似，所以下面对进程池的讨论完全适用于线程池。
  1、进程池是由服务器预先创建的一组子进程，这些子进程的数目在3-10个之间。httpd守护进程就是使用了包含7个子进程的进程池来实现并发的。线程池中的线程数量应该和CPU数量差不多。

  2、进程池中的所有子进程都运行着相同的代码，并具有相同的属性，比如优先级，PGID等等。因为进程池在服务器启动之初就创建好了，所以每个子进程都相对“干净”，即他们没有打开不必要的文件描述符（从父进程继承而来），也不会错误地使用大块的堆内存（从父进程复制得到）。

  3、当有新的任务到来时，主进程将通过某种方式选择进程池中的某一个子进程来为之服务。相对于动态创建子进程，选择一个已经存在的子进程的代价明显要小的多。

• 子进程选择算法
  1、主进程使用某种算法主动选择子进程。最简单、最常用的算法是随机算法和Round-Robin(轮流选取)算法。

  2、主进程和所有子进程通过一个共享的工作队列来同步，子进程都睡眠在该工作队列上。当有新的任务到来时，主进程将任务添加到工作队列中。这将唤醒正在等待任务的子进程，不过只有一个子进程获得新任务的“接管权”，它可以从工作队列中取出并执行之，而其他子进程将继续睡眠在工作队列上。

  3、当选择好子进程后，主进程还需要使用某种通知机制来告诉目标子进程有新进程需要处理，并传递必要的数据。最简单的方法是，在父进程和子进程之间预先建立好一条管道，然后通过该管道来实现所有进程间通信（当然，要预先定义好一套协议来规范管道的使用）。在父线程和子线程之间传递数据就要简单的多，因为我们可以把这些数据定义全局的，那么他们本身就是被所有线程共享的。

• 线程池的简单实现

#include <stdio.h>#include <stdlib.h>#include <unistd.h>#include <sys/types.h>#include <pthread.h>#include <assert.h>/**线程池里所有运行和等待的任务都是一个CThread_worker*由于所有任务都在链表里，所以是一个链表结构*/typedef struct worker{    /*回调函数，任务运行时会调用此函数，注意也可声明成其它形式*/    void *(*process) (void *arg);    void *arg;/*回调函数的参数*/    struct worker *next;} CThread_worker;/*线程池结构*/typedef struct{    pthread_mutex_t queue_lock;    pthread_cond_t queue_ready;    /*链表结构，线程池中所有等待任务*/    CThread_worker *queue_head;    /*是否销毁线程池*/    int shutdown;    pthread_t *threadid;    /*线程池中允许的活动线程数目*/    int max_thread_num;    /*当前等待队列的任务数目*/    int cur_queue_size;} CThread_pool;int pool_add_worker (void *(*process) (void *arg), void *arg);void *thread_routine (void *arg);static CThread_pool *pool = NULL;void pool_init (int max_thread_num){    pool = (CThread_pool *) malloc (sizeof (CThread_pool));    pthread_mutex_init (&(pool->queue_lock), NULL);    pthread_cond_init (&(pool->queue_ready), NULL);    pool->queue_head = NULL;    pool->max_thread_num = max_thread_num;    pool->cur_queue_size = 0;    pool->shutdown = 0;    pool->threadid =        (pthread_t *) malloc (max_thread_num * sizeof (pthread_t));    int i = 0;    for (i = 0; i < max_thread_num; i++)    {         pthread_create (&(pool->threadid[i]), NULL, thread_routine,                NULL);    }}/*向线程池中加入任务*/int pool_add_worker (void *(*process) (void *arg), void *arg){    /*构造一个新任务*/    CThread_worker *newworker =        (CThread_worker *) malloc (sizeof (CThread_worker));    newworker->process = process;    newworker->arg = arg;    newworker->next = NULL;/*别忘置空*/    pthread_mutex_lock (&(pool->queue_lock));    /*将任务加入到等待队列中*/    CThread_worker *member = pool->queue_head;    if (member != NULL)    {        while (member->next != NULL)            member = member->next;        member->next = newworker;    }    else    {        pool->queue_head = newworker;    }    assert (pool->queue_head != NULL);    pool->cur_queue_size++;    pthread_mutex_unlock (&(pool->queue_lock));    /*好了，等待队列中有任务了，唤醒一个等待线程；    注意如果所有线程都在忙碌，这句没有任何作用*/    pthread_cond_signal (&(pool->queue_ready));    return 0;}/*销毁线程池，等待队列中的任务不会再被执行，但是正在运行的线程会一直把任务运行完后再退出*/int pool_destroy (){    if (pool->shutdown)        return -1;/*防止两次调用*/    pool->shutdown = 1;    /*唤醒所有等待线程，线程池要销毁了*/    pthread_cond_broadcast (&(pool->queue_ready));    /*阻塞等待线程退出，否则就成僵尸了*/    int i;    for (i = 0; i < pool->max_thread_num; i++)        pthread_join (pool->threadid[i], NULL);    free (pool->threadid);    /*销毁等待队列*/    CThread_worker *head = NULL;    while (pool->queue_head != NULL)    {        head = pool->queue_head;        pool->queue_head = pool->queue_head->next;        free (head);    }    /*条件变量和互斥量也别忘了销毁*/    pthread_mutex_destroy(&(pool->queue_lock));    pthread_cond_destroy(&(pool->queue_ready));    free (pool);    /*销毁后指针置空是个好习惯*/    pool=NULL;    return 0;}void* thread_routine (void *arg){    printf ("starting thread 0x%x/n", pthread_self ());    while (1)    {        pthread_mutex_lock (&(pool->queue_lock));        /*如果等待队列为0并且不销毁线程池，则处于阻塞状态; 注意        pthread_cond_wait是一个原子操作，等待前会解锁，唤醒后会加锁*/        while (pool->cur_queue_size == 0 && !pool->shutdown)        {            printf ("thread 0x%x is waiting/n", pthread_self ());            pthread_cond_wait (&(pool->queue_ready), &(pool->queue_lock));        }        /*线程池要销毁了*/        if (pool->shutdown)        {            /*遇到break,continue,return等跳转语句，千万不要忘记先解锁*/            pthread_mutex_unlock (&(pool->queue_lock));            printf ("thread 0x%x will exit/n", pthread_self ());            pthread_exit (NULL);        }        printf ("thread 0x%x is starting to work/n", pthread_self ());        /*assert是调试的好帮手*/        assert (pool->cur_queue_size != 0);        assert (pool->queue_head != NULL);        /*等待队列长度减去1，并取出链表中的头元素*/        pool->cur_queue_size--;        CThread_worker *worker = pool->queue_head;        pool->queue_head = worker->next;        pthread_mutex_unlock (&(pool->queue_lock));        /*调用回调函数，执行任务*/        (*(worker->process)) (worker->arg);        free (worker);        worker = NULL;    }    /*这一句应该是不可达的*/    pthread_exit (NULL);}void* myprocess (void *arg){    printf ("threadid is 0x%x, working on task %d/n", pthread_self (),*(int *) arg);    sleep (1);/*休息一秒，延长任务的执行时间*/    return NULL;}int main (){    pool_init (3);/*线程池中最多三个活动线程*/    /*连续向池中投入10个任务*/    int *workingnum = (int *) malloc (sizeof (int) * 10);    int i;    for (i = 0; i < 10; i++)    {        workingnum[i] = i;        pool_add_worker (myprocess, &workingnum[i]);    }    /*等待所有任务完成*/    sleep (5);    /*销毁线程池*/    pool_destroy ();    free (workingnum);    return 0;}

结果截图：