yar框架的并行原理分析（libcurl+epoll）

yar是一个轻量级的php rpc框架。有意思的是它的并行，其实就是libcurl作为网络库提供http请求，然后用epoll做为事件监听来实现整个异步并行调用的。在此基础上，就是如何利用zend api来对整个逻辑的封装了。我们先抛开zend api，单独看看libcurl 结合 epoll 是如何来做到异步并行调用的。
先大致熟悉一下libcurl，官网http://curl.haxx.se/libcurl/c/libcurl.html。
1、Easy interface
如何发起一个curl调用？直接上码：

#include<stdio.h>
#include<curl/curl.h>
int main(int argc, char *argv[])
{
    CURL *curl;
    CURLcode res;
    curl_global_init(CURL_GLOBAL_ALL);
    curl = curl_easy_init();
    if(curl) {
       curl_easy_setopt(curl, CURLOPT_URL, "http://google.com");
       res = curl_easy_perform(curl);
       if(res != CURLE_OK) {
           fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));
       }   
       curl_easy_cleanup(curl);
    }   
    curl_global_cleanup();
    return 0;
}    

大致3个步骤：
1）、curl_easy_init ：获得curl的处理句柄。
2）、curl_easy_setopt ：用来针对网络传输过程中的一些选项设置，比如访问的地址、超时、设置请求回调、数据回写变量等等，详情去查看官网。
3）、curl_easy_perform：执行curl请求。
到这里你可以知道，一个curl句柄就是一个请求，既然是网络请求，你肯定猜到libcurl都为每个curl句柄都维护一个socket fd。
可以看出这种调用方式的特点是最简单，同步调用，但也效率低下。

2、Multi interface
Multi interface是基于多个curl句柄来实现并发的，大致原理是把多个curl_easy_init 创建的curl加入一个stack里面，然后并行去执行stack里面的curl句柄，来达到并行的目的。
对于Multi interface，一般有两种使用方法，一种是curl_multi_perform 结合select / poll 方式调用，虽然能实现异步，但终究还是基于select/poll这种模型，需主动轮询fd事件，在特定场合下效率还是没法保证。第二种是”multi_socket”方式，即利用curl_multi_socket_action来替代curl_multi_perform来执行请求，顺便可以获得请求状态的变化，以方便用事件监听的方式来掌控请求读写状态，事件监听的方式有很多成熟的库，出了名的比如libevent，libev，libuv等，咱们等会儿用epoll来说，yar用的也是epoll。
咱们来讨论multi_socket + epoll方式，直接上码：

#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include <sys/epoll.h>
#include<curl/curl.h>

typedef struct _global_info {
    int epfd;
    CURLM *multi;
} global_info;

typedef struct _easy_curl_data {
    CURL *curl;
    char data[1024] = {0};
} easy_curl_data;

typedef struct _multi_curl_sockinfo {
    curl_socket_t fd;
    CURL *cp;
} multi_curl_sockinfo;

char curl_cb_data[1024] = {0};

static int sock_cb (CURL *e, curl_socket_t s, int what, void *cbp, void *sockp)
{
    struct epoll_event ev = {0};

    global_info * g = (global_info *) cbp;
    multi_curl_sockinfo  *fdp = (multi_curl_sockinfo *) sockp;

    if (what == CURL_POLL_REMOVE) {
        if (fdp) {
            free(fdp);
        }
        epoll_ctl(g->epfd, EPOLL_CTL_DEL, s, &ev);
    } else {
        if (what == CURL_POLL_IN) {
            ev.events |= EPOLLIN;
        } else if (what == CURL_POLL_OUT) {
            ev.events |= EPOLLOUT;
        } else if (what == CURL_POLL_INOUT) {
            ev.events |= EPOLLIN | EPOLLOUT;
        }

        if (!fpd) {
            fpd = (multi_curl_sockinfo *)malloc(sizeof(multi_curl_sockinfo));
            fpd->fd = s;
            fpd->cp = e;

            epoll_ctl(g->epfd, EPOLL_CTL_ADD, s, &ev);
            curl_multi_assign(g->multi, s, &ev);
        }

    }
    return 0;
}

static void set_curl_opt(CURL *curl)
{
    //set curl options..
    curl_easy_setopt(curl, CURLOPT_WRITEDATA, curl_cb_data);
    //other options..
}

int main(int argc, char *argv[])
{
    char *urls[3] = {"https://google.com", "http://qq.com", "http://xxx.com"};

    curl_global_init(CURL_GLOBAL_ALL);
    global_info g;
    memset(&g, 0, sizeof(global_info));
    g.epfd = epoll_create(10);
    g.multi = curl_multi_init();

    int i=0;
    for(;i<3;i++) {
        CURL *curl;
        curl = curl_easy_init();
        set_curl_opt(curl);
        curl_multi_add_handle(g.multi, curl);
    }

    curl_multi_setopt(multi, CURLMOPT_SOCKETFUNCTION, sock_cb);
    curl_multi_setopt(multi->cm, CURLMOPT_SOCKETDATA, &g);

    int running_count;
    struct epoll_event events[10]
    while (CURLM_CALL_MULTI_PERFORM == curl_multi_socket_action(g.multi, CURL_SOCKET_TIMEOUT, 0, &running_count));

    if (running_count) {
        do {
            nfds = epoll_wait(g.epfd, events, 10, 500);
            if(nfds > 0) {
                int z=0;
                for (;z<nfds; z++) {
                    if (events[i].events & EPOLLIN) {
                        curl_multi_socket_action(g.multi, CURL_CSELECT_IN, events[i].data.fd, &running_count);
                    } else if (events[i].events & EPOLLOUT) {
                        curl_multi_socket_action(g.multi, CURL_CSELECT_OUT, events[i].data.fd, &running_count);
                    }
                }
            }
        } while (running_count);
    }

    curl_global_cleanup();
    return 0;
}

如果你对上面的代码看完后没啥感觉，这里重点说一下：
curl_multi_init 创建multi curl 句柄，这个句柄是来管理easy_curl_init 创建 curl句柄的，你可以理解为一个大池子，这个池子里面存放着多个curl句柄。一个multi curl代表一个池子，多个multi curl 互不影响。之后multi curl 也需要设置一些选项，通过curl_multi_setopt 函数来设置，最关键的2个分别是CURLMOPT_SOCKETFUNCTION 选项和 CURLMOPT_TIMERFUNCTION选项。这两个选项设置了sock calback 和 timer callback ，看名字你也大概猜出各自代表的意思，没错，我们知道一个curl句柄里面维护着一个socket fd ，当这个fd状态变化的时候是靠这个sock callback来通知的，而timer callback ，是libcurl用来向调用方通知超时回调的。只需要设置一下函数指针就好。具体用法看官网。
我们知道通过CURLMOPT_SOCKETFUNCTION 选项来设置sock callback来获知sock的状态了，这点非常重要，但是对于这个fd是何时读、写，对于libcurl来说它是无能为力的。我们需要一个能够监听事件的库，这时候epoll就华丽登场了。epoll在这这里如何使用？使其就是把sock calback 通知的sock fd 状态，同步一份给epoll就行了（其实就是上面代码的sock_cb函数）。然后，剩下的就是epoll event loop了，epoll_wait 返回可用fd后，你就可以进行相关的读写操作了，读写操作用这个curl_multi_socket_action来搞定。还记得之前说的curl_easy_init 创建curl句柄吧？创建的时候是通过curl_easy_setopt 来设置选项的，其中CURLOPT_WRITEFUNCTION 和 CURLOPT_WRITEDATA 分别设置当curl执行完成后回调函数和写入变量，你可以在这个回调函数里面进行curl执行结果的处理。所以，当调用curl_multi_socket_action的时候，就会触发这2个选项的作用了。一个完整的sock_multi + epoll的异步执行调用就是这样。

看到这里，再回去看上面的代码，估计问题不大了。

OK，剩下的事情就是把这块的逻辑整合zend api ，如果你熟悉php扩展的编写，熟悉zend api，再结合上面的分析，然后去看yar源码，就畅通无阻了。想想要不要完整的把yar的源码分析写出来，但一想到一堆zend api , 想想还是算了…不过有个很好的编写PHP扩展的模板，请参照这个项目https://github.com/linkaisheng/edge，这是一个接口平台的php框架，纯C编写，里面用到了各种zend api ，包括类的创建、属性操作、函数调用、垃圾回收、返回值、对象复制等等等等，为了弄清楚这些用法，我亲身经历了N多个segfault 才搞清楚并且运行正常起来，亲测可用..你可以大胆参照上面的来。