epoll并不是协议栈里面的，为什么要实现用户态协议栈？
因为内核的epoll是对内核文件系统vfs fd进行的管理，是跟内核协议栈一起使用的，内核协议栈处理io后通过回调的方式来操作epoll中的就绪队列；而用户态协议栈，fd是用户空间的，内核的epoll没办法对用户空间fd进行管理，所以用户态协议栈必须要有用户态的epoll。
用户态epoll是参考内核的epoll，在用户空间实现了epoll的功能。
内核epoll代码：fs/eventpoll.c
epoll设计需要考虑以下4个方面：
epoll至少有两个集合
是key-value的格式，通过fd要能够找到value。
数组大小受限，不容易扩展；查找效率低。
hash，存储空间浪费；对于数量足够大的时候，查找效率高。
avl，对于查找、删除、性能，红黑树由于avl树。
btree/b+tree，多叉树，叶子节点都在同一层，降低层高，主要用于磁盘存储。
rbtree，对于查找效率和空间利用率综合考虑，是最优的。
总集选择用红黑树。
就绪集合不是以查找为主，所有的就绪fd都需要被拿出去处理。
可以选择线性数据结构：
就绪集合选择队列，先进先出。
epoll使用红黑树和队列，红黑树存放需要检测的节点，队列存放就绪的节点。
int epoll_create(int size);
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
操作红黑树，根据op对红黑树进行增删改
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
把就绪队列的数据从内核copy到用户空间。
如果maxevents小于就绪队列大小，比如就绪队列大小为100，maxevents传入50，怎么办呢？
先将就绪队列里面的50个节点copy到用户空间，之后下次epoll_wait再copy 50个节点。
epoll怎么知道哪个io就绪了，需要将节点加入到就绪队列？
recv的情况，是在回复了ack后，协议栈才通知epoll。
send的情况，如果之前sendbuff是满的，需要等发送了一次数据，收到对端回复的ack，清空一部分sendbuff数据，再通知epoll。
收到网络包后，能够解析出五元组，根据五元组能够查找到对应的fd，在到红黑树去查找到对应的节点。
红黑树和就绪队列是个什么关系？红黑树的节点和就绪队列的节点是一个节点。每次将红黑树的节点加入到就绪队列，并不是将节点从红黑树中delete掉，
回调函数都需要做哪些事情？
需要传哪些参数？
fd，EPOLLIN、EPOLLOUT事件
需要做的事情：
epoll是否线程安全，就需要考虑epoll三个接口是否线程安全？
epoll_create，对epoll进行初始化，是线程安全的。
epoll_ctl, 是操作红黑树；epoll_wait, 是操作就绪队列。
需要考虑epoll工作环境，epoll是工作在应用程序和协议栈之间。应用程序调用epoll_ctl的时候，协议栈是否会有回调操作红黑树？调用epoll_wait从就绪队列里面copy出来的时候，协议栈是否会操作就绪队列？要保证线程安全，需要对红黑树和就绪队列加锁。
红黑树加锁，有两种加锁方法：
对子树加锁是一件很麻烦的事情。所以实现的是对整棵树加锁，使用mutex。
就绪队列，使用spinlock。
epoll_wait，使用条件等待，cond + cdmtx
ET和LT是如何实现的？会不会回调？
LT : 水平触发，如果没有读完，会一直触发
ET：不管有没有读完，只触发一次
ET、LT本质区别就是回调次数。
ET 接收到数据，调用一次回调
LT recvbuffer里面有数据，就调用回调。
协议栈里面有一个while(1)循环检测。
while (1) {
// 协议栈处理网卡数据
// 这里就会判断调用回调的次数
}
一直回调怎么实现？就是上面提到的，有一个while(1)，不断去检测。
ET适合小块
LT适合大块
struct epitem {
RB_ENTRY(epitem) rbn;
LIST_ENTRY(epitem) rdlink;
int rdy; //exist in list
int sockfd;
struct epoll_event event;
};
struct eventpoll {
ep_rb_tree rbr;
int rbcnt;
LIST_HEAD( ,epitem) rdlist;
int rdnum;
int waiting;
pthread_mutex_t mtx; //rbtree update
pthread_spinlock_t lock; //rdlist update
pthread_cond_t cond; //block for event
pthread_mutex_t cdmtx; //mutex for cond
};