协程

一、概念

协程，又称微线程，纤程。英文名Coroutine。

协程的概念很早就提出来了，但直到最近几年才在某些语言（如Lua）中得到广泛应用。

子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。

所以子程序调用是通过栈实现的，一个线程只能在某一时刻执行一个子程序。

子程序调用总是一个入口，一次返回，调用顺序是明确的。而协程的调用和子程序不同。

协程看上去也是子程序，但执行过程中，在子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回来接着执行。

注意，在一个子程序中中断，去执行其他子程序，不是函数调用，有点类似CPU的中断。比如子程序A、B：

def A():    print '1'    print '2'    print '3'def B():    print 'x'    print 'y'    print 'z'

假设由协程执行，在执行A的过程中，可以随时中断，去执行B，B也可能在执行过程中中断再去执行A，结果可能是：

12xy3z

但是在A中是没有调用B的，所以协程的调用比函数调用理解起来要难一些。

二、优势

看起来A、B的执行有点像多线程，但协程的特点在于是一个线程执行，那和多线程比，协程有何优势？

1、执行效率

最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比：

线程数量越多，协程的性能优势就越明显。

2、不需要加锁

第二大优势就是不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。

因为协程是一个线程执行，那怎么利用多核CPU呢？最简单的方法是：

多进程+协程，既充分利用多核，又充分发挥协程的高效率，可获得极高的性能。

因为可以使用一个线程来实现一个类似多线程的程序，如果使用协程来替代线程，就可以省去很多原子操作和内存栅栏的麻烦，大大减少与线程同步相关的系统调用。因为我只有一个线程，而且协程之间的切换是可以由函数自己决定的。

三、一个Python例子

Python对协程的支持还非常有限，用在generator中的yield可以一定程度上实现协程。虽然支持不完全，但已经可以发挥相当大的威力了。

来看例子：

传统的生产者-消费者模型是一个线程写消息，一个线程取消息，通过锁机制控制队列和等待，但一不小心就可能死锁。

如果改用协程，生产者生产消息后，直接通过yield跳转到消费者开始执行，待消费者执行完毕后，切换回生产者继续生产，效率极高：

import timedef consumer():    r = ''    while True:        n = yield r        if not n:            return        print('[CONSUMER] Consuming %s...' % n)        time.sleep(1)        r = '200 OK'def produce(c):    c.next()    n = 0    while n < 5:        n = n + 1        print('[PRODUCER] Producing %s...' % n)        r = c.send(n)        print('[PRODUCER] Consumer return: %s' % r)    c.close()if __name__=='__main__':    c = consumer()    produce(c)

执行结果：

[PRODUCER] Producing 1...[CONSUMER] Consuming 1...[PRODUCER] Consumer return: 200 OK[PRODUCER] Producing 2...[CONSUMER] Consuming 2...[PRODUCER] Consumer return: 200 OK[PRODUCER] Producing 3...[CONSUMER] Consuming 3...[PRODUCER] Consumer return: 200 OK[PRODUCER] Producing 4...[CONSUMER] Consuming 4...[PRODUCER] Consumer return: 200 OK[PRODUCER] Producing 5...[CONSUMER] Consuming 5...[PRODUCER] Consumer return: 200 OK

注意到consumer函数是一个generator（生成器），把一个consumer传入produce后：

首先调用c.next()启动生成器；

然后，一旦生产了东西，通过c.send(n)切换到consumer执行；

consumer通过yield拿到消息，处理，又通过yield把结果传回；

produce拿到consumer处理的结果，继续生产下一条消息；

produce决定不生产了，通过c.close()关闭consumer，整个过程结束。

整个流程无锁，由一个线程执行，produce和consumer协作完成任务，所以称为“协程”，而非线程的抢占式多任务。

四、一种c/c++的协程实现

因为没有 C/C++ 的原生支持，所以有些c的协程库使用了汇编代码，还有些利用了 C 语言的 setjmp 和 longjmp 但是要求函数里面使用 static local 的变量来保存协程内部的数据。

但是如下方法巧妙的避免了上述 汇编和使用 static local 变量。

基本原理

用 C/C++ 实现的最大困难就是创建，保存和恢复程序的上下文。因为这涉及到了程序栈的管理，以及 CPU 寄存器的访问，但是这两项内容在 C/C++ 标准里面都没有严格的定义，所以我们是不可能有一个完全跨平台的 C/C++ 实现的。但是利用操作系统提供的 API，我们仍然可以避免使用汇编代码，接下来会向你展示使用 POSIX 的 pthread 实现的一种简单的协程框架。什么！？？Pthread？那你的程序岂不是多线程了？那还叫协程吗！没错，确实是多线程的，不过仅仅是在协程被创建之前的短暂瞬间。

要创建子程序的上下文，我们可以调用 pthread_create 函数来创建一个真正的线程，这样操作系统就会帮我们创建上下文（这里包括初始化 CPU 寄存器和程序栈）。然后在线程启动时，使用 C 语言的 setjmp 把这些寄存器备份到外部的 buffer 里面。创建完后，这个线程便失去了它的存在价值，所以可以果断干掉它了。不过还需要注意一点，就是在创建线程之前，需要调用 pthread_attr_setstack 函数来显式地声明使用的程序栈，这样线程退出的时候，系统就不会自动销毁这个程序栈。至于上下文的恢复，显然就是使用 longjmp 函数了。

创建上下文

下面是 RoutineInfo 的定义。为了简单起见，所有错误处理代码都被省略了，原版本的代码在 coroutine.cpp 文件中，省略版的代码在 coroutine_demonstration.cpp 文件中。

typedef void * (*RoutineHandler)(void*);struct RoutineInfo{    void * param;    RoutineHandler handler;    void * ret;    bool stopped;    jmp_buf buf;    void *stackbase;    size_t stacksize;    pthread_attr_t attr;    // size: the stack size    RoutineInfo(size_t size){        param = NULL;        handler = NULL;        ret = NULL;        stopped = false;        stackbase = malloc(size);        stacksize = size;        pthread_attr_init(&attr);        if(stacksize)            pthread_attr_setstack(&attr,stackbase,stacksize);    }    ~RoutineInfo(){        pthread_attr_destroy(&attr);        free(stackbase);    }};

然后，我们需要一下全局的列表来保存这些 RoutineInfo 对象。

std::list<RoutineInfo*> InitRoutines(){    std::list<RoutineInfo*> list;    RoutineInfo *main = new RoutineInfo(0);    list.push_back(main);    return list;}std::list<RoutineInfo*> routines = InitRoutines();

接下来是协程的创建，注意当协程的时候，程序栈有可能已经被损坏了，所以需要一个 stackBack 作为程序栈的备份，用来做后面的恢复。

void *stackBackup = NULL;void *CoroutineStart(void *pRoutineInfo);int CreateCoroutine(RoutineHandler handler,void* param ){    RoutineInfo* info = new RoutineInfo(PTHREAD_STACK_MIN+ 0x4000);    info->param = param;    info->handler = handler;    pthread_t thread;    int ret = pthread_create( &thread, &(info->attr), CoroutineStart, info);    void* status;    pthread_join(thread,&status);    memcpy(info->stackbase,stackBackup,info->stacksize);    // restore the stack    routines.push_back(info);   // add the routine to the end of the list    return 0;}

然后是 CoroutinneStart 函数。当线程进入这个函数的时候，使用 setjmp 保存上下文，然后备份它自己的程序栈，然后直接退出线程。

void Switch();void *CoroutineStart(void *pRoutineInfo){    RoutineInfo& info = *(RoutineInfo*)pRoutineInfo;    if( !setjmp(info.buf)){         // back up the stack, and then exit        stackBackup = realloc(stackBackup,info.stacksize);        memcpy(stackBackup,info.stackbase, info.stacksize);        pthread_exit(NULL);        return (void*)0;    }    info.ret = info.handler(info.param);    info.stopped = true;    Switch(); // never return    return (void*)0; // suppress compiler warning}

上下文切换

一个协程主动调用 Switch() 函数，才切换到另一个协程。

std::list<RoutineInfo*> stoppedRoutines = std::list<RoutineInfo*>();void Switch(){    RoutineInfo* current = routines.front();    routines.pop_front();    if(current->stopped){        // The stack is stored in the RoutineInfo object,         // delete the object later, now know        stoppedRoutines.push_back(current);        longjmp( (*routines.begin())->buf ,1);    }    routines.push_back(current);        // adjust the routines to the end of list    if( !setjmp(current->buf) ){        longjmp( (*routines.begin())->buf ,1);    }    if(stoppedRoutines.size()){        delete stoppedRoutines.front();        stoppedRoutines.pop_front();    }}

演示

用户的代码很简单，就像使用一个线程库一样，一个协程主动调用 Switch() 函数主动让出 CPU 时间给另一个协程。

#include <iostream>using namespace std;#include <sys/wait.h>void* foo(void*){    for(int i=0; i<2; ++i){        cout<<"foo: "<<i<<endl;        sleep(1);        Switch();    }}int main(){    CreateCoroutine(foo,NULL);    for(int i=0; i<6; ++i){        cout<<"main: "<<i<<endl;        sleep(1);        Switch();    }}

记得在链接的时候加上 -lpthread 链接选项。程序的执行结果如下所示：

[roxma@VM_6_207_centos coroutine]$ g++ coroutime_demonstration.cpp -lpthread -o a.out[roxma@VM_6_207_centos coroutine]$ lsa.out  coroutime.cpp  coroutime_demonstration.cpp  README.md[roxma@VM_6_207_centos coroutine]$ ./a.outmain: 0foo: 0main: 1foo: 1main: 2main: 3main: 4main: 5

最后套用Donald Knuth的一句话总结协程的特点：

“子程序就是协程的一种特例。”

---

参考资料

[1] 廖雪峰的网站

[2] http://www.cnblogs.com/Pony279/p/3903048.html