目录
四、RDMA通信和ceph AsyncMessenger的关系
作者：bandaoyu 本文随时更新，地址：https://blog.csdn.net/bandaoyu/article/details/125681856
首先应该先了解RDMA：https://blog.csdn.net/bandaoyu/article/details/112859853
RDMA 学习资料总目录:https://blog.csdn.net/bandaoyu/article/details/120485737
本文所讲述的主要是IBoE的RDMA编程，主要是ROCE、iWrap，与IB可能略有不同。
关键词：点对点通信、QP（SQ+RQ）、CQ、*QE
RDMA提供了基于消息队列的点对点通信，每个应用都可以直接获取自己的消息，无需OS和协议栈的介入。
队列:QP (Queue Pairs) 和CQ
RDMA提供了基于消息队列的点对点通信，当应用需要通信时，就会创建一条Channel连接，每条Channel的两端各有一对队列（Send Queue（SQ）和Receive Queue（RQ）），合称Queue Pairs（QP），除此之外，两端还需要一个 完成队列-Complete Queue（CQ），CQ用来存放 发送和接收请求处理完成的通知。
队列成员:SQE、RQE、CQE等*QE
队列里面的成员叫xxE，SQ里面的成员叫SQE，RQ里面的叫RQE，CQ里面的就是CQE……
而发送队列SQ和接收队列RQ，统称工作队列WQ （work Queue），所以里面单元又叫WQE；
SR（发送请求）和RR（接收请求）都是WR=工作请求；
每当网卡发送or接收完成一个请求，会在CQ产生一个CQE，知会用户消息已经被处理完。
总结
SQ：发送队列，SQ中的单元叫SQE；
RQ:接收队列，RQ中的单元叫RQE；
SQ和RQ都是WQ，就像男人和女人都叫人，WQ中的单元叫WQE；
SR（发送请求）和RR（接收请求）都是WR=工作请求；
QP=SQ+RQ
CQ:完成队列，CQ中的单元叫CQE；
RDMA 单边和双边两种传输模式。
SEND/RECEIVE：
是双边操作，每一次数据传输都需要双边参与。
READ和WRITE ：
是单边操作，除了第一次握手（获得对端的内存地址），后续的数据传输，单端直接DMA读写对端的内存。
第一次握手获得对端接收数据的内存地址后，本端明确信息的源和目的地址，数据的读或存都通过远端的DMA在RNIC与应用buffer之间完成，再由远端RNIC封装成消息返回到本端。对端的CPU毫无知觉。（所以WRITE完成后，一般要再发一个消息去通知对端：我已经完成一次操作了，去查看CQ队列吧。然后对端就会去读CQ队列，拿出CQE解析或者本地把数据写到哪里了，它再去处理数据）
在实际中，SEND/RECEIVE多用于连接控制类报文，而数据报文多是通过READ/WRITE来完成的。
双边
对于双边操作为例，A向B发送数据的流程如下：
首先，A和B都要创建并初始化好各自的QP，CQ
A 向SQ中放入一个发送请求（SQE），SQE描述指向一个等待被发送的数据的buffer地址 S_addr；
对于B，要提前向RQ中放入N个接收请求（RQE），RQE描述指向一块用于存储数据的buffer地址R_addr。
A的RNIC异步从A的SQ中读取SQE（WQE），读到刚才放入的SQ，解析到这是一个SEND消息，从S_addr中将数据直接DMA到B。数据流到达B的RNIC后，B从RQ中消耗掉一个RQE（WQE），从RQE中解析出存数据的地址R_addr，并把数据直接存储R_addr。
AB通信完成后，A的CQ中会产生一个完成消息CQE表示发送完成。与此同时，B的CQ中也会产生一个完成CQE消息表示接收完成。即每个WQ中WQE的处理完成都会产生一个CQE。
双边操作与传统网络的底层buffer pool类似，收发双方的参与过程并无差别，区别在零拷贝、kernel bypass。
对于RDMA，这是一种复杂的消息传输模式，多用于传输短的控制消息。
单边
以WRITE为例：
首先，A和B都要创建并初始化好各自的QP，CQ。
双方握手交换信息。（A的buffer地址VA告知了B，B的buffer地址VB告知了A）
A把内存地址VA，key封装到专用的报文传送到B，这相当于A把数据buffer的操作权交给了B。
B把内存地址VB，key封装到专用的报文传送到A，这相当于B把数据buffer的操作权交给了A。
A要向B“发送”数据：
A 向SQ中放入一个发送请求（SQE），SQE描述指向一个等待被发送的数据的buffer地址 S_addr；
A的RNIC异步从A的SQ中读取SQE（WQE），读到刚才放入的SQ，解析到这是一个WRITE消息，从S_addr中将数据直接DMA到B的内存地址VB（范围内的某个地址VB+xx）。数据流到达B的RNIC后，B从A的SQE中解析出存数据的地址VB+xx，并把数据直接存储VB+xx。
AB通信完成后，A的CQ中会产生一个完成消息CQE表示发送完成。
与此同时，B的CQ中是否也要产生CQE，取决于A发过来的WR中设定的条件（又是为了减少中断。A可能想发多个消息合并为一个CQ）。
这个过程A、B两端不需要任何软件（CPU\内核）参与，只有两个网卡“悄咪咪”的完成了将A的数据存储到B的VB虚拟地址。
Verbs API
由OpenFabrics推动实现的一组RDMA应用编程接口（API）。地位相当于以太网编程的socket接口。传统以太网的用户，基于Socket API来编写应用程序；而RDMA的用户，基于Verbs API来编写应用程序。
Verbs API是RDMA最基本的软件接口，业界的RDMA应用，要么直接基于这组API编写，要么基于在Verbs API上又封装了一层接口的各种中间件编写。（如rdma_cm）
Verbs api 分为用户态Verbs接口和内核态Verbs接口，分别用于用户态和内核态的RDMA应用。 对于Linux系统来说，由rdma-core和内核中的RDMA子系统（如intel的irdma）提供，所以我们可以看到服务器安装intel 的RDMA网卡后，要使用RDMA网卡，需要安装rdma-core和irdma。
原文链接：https://blog.csdn.net/bandaoyu/article/details/113125244
rdma_cm
对于rdma编程，目前主流实现是利用rdma_cm来建立连接，然后利用verbs来传输数据。
rdma_cm和ibverbs分别会创建一个fd，这两个fd的分工不同。rdma_cm fd主要用于通知建连相关的事件，verbs fd则主要通知有新的cqe发生。当直接对rdma_cm fd进行poll/epoll监听时，此时只能监听到POLLIN事件，这意味着有rdma_cm事件发生。当直接对verbs fd进行poll/epoll监听时，同样只能监听到POLLIN事件，这意味着有新的cqe。
《rdma_cm和verbs的区别》原文链接：https://blog.csdn.net/bandaoyu/article/details/115668933
RDMA有两种通信模式 Read/Write和Send/Receive，此处以Write为例：
1、编程步骤1准备工作和资源初始化：
ibv_get_device_list -->rocep216s0f0、rocep216s0f1 （RDMA网卡有多个网口）
ibv_open_device（rocep216s0f0）
ibv_query_port(res.ib_ctx, 1, &res.port_attr)
res.pd = ibv_alloc_pd(res.ib_ctx)
res.cq = ibv_create_cq(res.ib_ctx, cq_size, NULL, NULL, 0);
res.mr = ibv_reg_mr(res.pd, res.buf, size, mr_flags);
res.qp = ibv_create_qp(res.pd, &qp_init_attr);
可以通过 Socket 或者 RDMA_CM API 来交换控制信息，这里演示的是使用 Socket 交换信息。因为RDMA 是根据点到点的通信，RDMA没有IP的概念，只有QP的ID的概念，所以要通过 Socket 或者 RDMA_CM API 来交换控制信息告诉对方，本地的QP的ID---->LID 。
（LID的概念来自于IB，可以阅读本地了解LID的概念：http://t.csdn.cn/HBuXG）
QP 创建后处于RESET重置状态，要经过切换到RTS：Ready To Send 状态后，才能正常工作，可以把这一步理解为QP的初始化。
2、编程步骤1 创建请求和执行发送和处理
发送端：
应用程序创建WR请求，既填充ibv_send_wr结构体。
调用ibv_post_send将WR放入QP的SQ中（成为WQE）
网卡做的事情：
RDMA网卡从QP的SQ中取出WQE,把WQE指定的数据DMA到WQE指定的对端的内存地址中。
RDMA网卡DMA完成后产生一个WC（work complete），放入CQ（成为CQE）
应用程序polling CQ（或者event通知），看到有CQE，就知道数据传输（出去）完成。
poll_result = ibv_poll_cq(res->cq, 1, &wc);
应用程序对poll_result 进行处理（解析处理，看发送成功or失败）
接收端：
网卡做的事情：
RDMA网卡接收到对端RDMA传来的数据和WQE，根据WQE中指定的地址，把数据放到本地的内存上，接收完成后。生成一个WC，放到CQ中。
应用程序polling CQ（或者event通知），看到有CQE，就知道数据传输（到来）完成。
poll_result = ibv_poll_cq(res->cq, 1, &wc);
应用程序对poll_result 进行处理（读出来，解析，知道对端DMA过来的数据放在哪个内存地址，然后去读取）
链接：《RDMA SEND/WRITE编程实例（IBV Verbs ）》http://t.csdn.cn/4UwMw
《RDMA 编程实例（rdma_cm API） 》http://t.csdn.cn/WPff3
（摘自：RDMA概念，特点，协议，通信流程_https://blog.csdn.net/u011458874/article/details/121602188）
RDMA有两种基本操作，包括Memory verbs和Messaging verbs。
按照连接和可靠两个标准，可以划分出下图四种不同的传输模式：
在RDMA通信的过程中，有诸多需要理解的概念，例如QP队列对、内存注册等。下面我们来着重介绍一下RDMA通信涉及到了操作和概念。
1.发送请求（SR）
2.接收请求（RR）
3.完成队列（CQ）
4.内存注册（MR）
5.内存窗口（MW）
6.地址向量（Address Vector）
7.全局路由头部（GRH）
8.保护域（PD）
一个典型的应用程序结构如下:
为了执行 RDMA 操作，首选需要建立与远程主机的连接和适当的认证。实现这些的机制是队列对（QP） 。与标准的 IP 协议栈类似，一个 QP 大概等同于一个接字（socket）。 QP 需要在连接两端进行初始化。 连接管理器（CM）用来在 QP 建立之前进行 QP 信息的交换。一旦一个 QP 建立起来， verbs API 就可以用来执行 RDMA 读/写和原子操作。与套接字的读/写类似的连续收/发操作也能执行。RDMA的操作过程大致如下：
在RDMA操作中，Read/Write是单边操作，秩序本地端明确信息的源和目的地址，远端应用不必感知此次通信，数据的读或写都通过RDMA在RNIC与应用Buffer之间完成，再由远端RNIC封装成消息返回到本地端。Send/Receive是双边操作，即必须要远端的应用感知参与才能完成收发，在实际中，Send/Receive多用于连接控制类报文，而数据报文是通过Read/Write来完成的。
Messenger::send_message(Message *m, dest)
AsyncMessenger::send_message(Message *m, dest)
--|AsyncMessenger::_send_message(Message *m, dest)
----|AsyncMessenger::submit_message(Message *m,conn,dest,...)
------|AsyncConnection::send_message(Message *m)
--------|out_q[priority].emplace_back(std::move(bl),m) #放入队列
//回调操作(write_handler= new C_handle_write(this))放入event中心
--------|EventCenter::dispatch_event_external(write_handler)
----------|external_event.push_back(write_handler)
//wakeup process_events 线程执行
----------|wakeup()
|
| w->center.process_events //执行process_events,取出前面放入event中心的event并处理
| cb = event->read_cb; cb->do_request()
|--|C_handle_write
//process_events处理(do_request)我们的让入的event，实际就是执行C_handle_write
| --|write_handler = new C_handle_write(this)
//所以就是执行：AsyncConnection::handle_write
C_handle_write::do_request(int fd)
--| AsyncConnection::handle_write()
----|bufferlist data;m=_get_next_outgoing(&data); #out_q
----|AsyncConnection::write_message(m,data,more)
------|AsyncConnection::outcoming_bl <--bl ------|AsyncConnection::_try_send(bool more)
--------|AsyncConnection::connectedSocket cs->send(outcoming_bl,more)
----------|connectedSocket::_csi->send(outcoming_bl,more)
/*_csi是std::unique_ptr<ConnectedSocketImpl> _csi;
_csi->send是_csi->sendConnectedSocketImpl:: virtual ssizet_t send(bl,more)是虚函数，RDMA模式的时候，其实现就是RDMAConnectedSocketImpl::send *（posix就调用socket的send，RDMA就调用RDMA的send）*/
//所以下面就是ceph AsyncMessenger网络模块的RDMA入口
----------|RDMAConnectedSocketImpl::send(outcoming_bl,more)#<---------RDMA send 入口
=====================================草稿================================
RDMA提供了基于消息队列的点对点通信，每个应用都可以直接获取自己的消息，无需OS和协议栈的介入。
消息服务建立在通信双方本端和远端应用之间创建的channel-IO连接之上。
当应用需要通信时，就会创建一条Channel连接，每条Channel的首尾端点是两对Queue Pairs（QP），每对QP由Send Queue（SQ）和Receive Queue（RQ）构成，这些队列中管理着各种类型的消息。
QP会被映射到应用的虚拟地址空间，使得应用直接通过它访问RNIC。除了QP描述的两种基本队列之外，RDMA还提供一种队列-Complete Queue（CQ），CQ用来知会用户WQ上的消息已经被处理完。
RDMA提供了一套software transport interface，方便用户创建传输请求-Work Request（WR），WR中描述了应用希望传输到Channel对端的消息内容。
WR通知给QP中的某个队列-Work Queue（WQ）。
在WQ中，用户的WR被转化为Work Queue Ellement（WQE）的格式，等待RNIC的异步调度解析，并从WQE指向的buffer中拿到真正的消息发送到Channel对端。
RDMA共有三种底层数据传输模式。
SEND/RECEIVE是双边操作，即必须要远端的应用感知参与才能完成收发。
READ和WRITE是单边操作，只需要本端明确信息的源和目的地址，远端应用不必感知此次通信，数据的读或存都通过远端的DMA在RNIC与应用buffer之间完成，再由远端RNIC封装成消息返回到本端。
在实际中，SEND/RECEIVE多用于连接控制类报文，而数据报文多是通过READ/WRITE来完成的。
对于双边操作为例，A向B发送数据的流程如下：
首先，A和B都要创建并初始化好各自的QP，CQ
A和B分别向自己的WQ中注册WQE，对于A，WQ=SQ，WQE描述指向一个等到被发送的数据；对于B，WQ=RQ，WQE描述指向一块用于存储数据的buffer。
A的RNIC异步调度轮到A的WQE，解析到这是一个SEND消息，从buffer中直接向B发出数据。数据流到达B的RNIC后，B的WQE被消耗，并把数据直接存储到WQE指向的存储位置。
AB通信完成后，A的CQ中会产生一个完成消息CQE表示发送完成。与此同时，B的CQ中也会产生一个完成消息表示接收完成。每个WQ中WQE的处理完成都会产生一个CQE。
双边操作与传统网络的底层buffer pool类似，收发双方的参与过程并无差别，区别在零拷贝、kernel bypass，实际上传统网络中一些高级的网络SOC已经实现类似功能。
对于RDMA，这是一种复杂的消息传输模式，多用于传输短的控制消息。
对于单边操作，以存储网络环境下的存储为例（A作为文件系统，B作为存储介质）：
首先A、B建立连接，QP已经创建并且初始化。
数据被存档在A的buffer地址VA，注意VA应该提前注册到A的RNIC，并拿到返回的local key，相当于RDMA操作这块buffer的权限。
A把数据地址VA，key封装到专用的报文传送到B，这相当于A把数据buffer的操作权交给了B。同时A在它的WQ中注册进一个WR，以用于接收数据传输的B返回的状态。
B在收到A的送过来的数据VA和R_key后，RNIC会把它们连同存储地址VB到封装RDMA READ，这个过程A、B两端不需要任何软件参与，就可以将A的数据存储到B的VB虚拟地址。
B在存储完成后，会向A返回整个数据传输的状态信息。
单边操作传输方式是RDMA与传统网络传输的最大不同，提供直接访问远程的虚拟地址，无须远程应用的参与，这种方式适用于批量数据传输。
RDMAC（RDMA Consortium）和IBTA（InfiniBand Trade Association）主导了RDMA，RDMAC是IETF的一个补充，它主要定义的是iWRAP和iSER，IBTA是infiniband的全部标准制定者，并补充了RoCE v1 v2的标准化。
应用和RNIC之间的传输接口层（software transport interface）被称为Verbs。
IBTA解释了RDMA传输过程中应具备的特性行为，而并没有规定Verbs的具体接口和数据结构原型。
这部分工作由另一个组织OFA（Open Fabric Alliance）来完成，OFA提供了RDMA传输的一系列Verbs API。
OFA开发出了OFED（Open Fabric Enterprise Distribution）协议栈，支持多种RDMA传输层协议。
OFED中除了提供向下与RNIC基本的队列消息服务，向上还提供了ULP（Upper Layer Protocols），通过ULPs，上层应用不需要直接到Verbs API对接，而是借助于ULP与应用对接，常见的应用不需要做修改，就可以跑在RDMA传输层上。
队列和队列成员
QP (Queue Pairs)
RDMA提供了基于消息队列的点对点通信，当应用需要通信时，就会创建一条Channel连接，每条Channel的两端是 各有一对Queue Pairs（QP）。每对QP由Send Queue（SQ）和Receive Queue（RQ）构成，除了QP之外，通信还需一种队列：完成队列--Complete Queue（CQ）。
队列里面的成员叫xxE，SQ里面的成员叫SQE，RQ里面的叫RQE，CQ里面的就是CQE……
而发送队列SQ和接收队列RQ，统称工作队列WQ （work Queue），所以里面单元又叫WQE；
SR（发送请求）和RR（接收请求）都是WR=工作请求；
每当网卡发送or接收完成一个请求，会在CQ产生一个CQE，知会用户消息已经被处理完。
总结：
SQ：发送队列，SQ中的单元叫SQE；
RQ:接收队列，RQ中的单元叫RQE；
SQ和RQ都是WQ，就像男人和女人都叫人，WQ中的单元叫WQE；
SR（发送请求）和RR（接收请求）都是WR=工作请求；
QP=SQ+RQ
CQ:完成队列，CQ中的单元叫CQE；
通信过程
（RDMA有两种通信模式 Read/Write和Send/Receive，此处以Write为例）
获取设备列表 ibv_get_device_list -->rocep216s0f0、rocep216s0f1
打开要请求的设备 ibv_open_device（rocep216s0f0）
……
创建QP、创建 CQ
交换控制信息（交换QP的ID,各自的内存地址等）
连接QP
发送端：
接收端：
RDMA网卡接收到对端RDMA传来的数据和WQE，根据WQE中指定的地址，把数据放到本地的内存上，接收完成后。生成一个WC，放到CQ中。
因为不经过内核（CPU），所以内核完全不知道有数据到。
InfiniBand是真正的RDMA，有自己的链路层、网络层、传输层的协议栈，所以编程代码中的LRH 、 LID、L3 中的 GRH 都是为L1-L3服务。而RoCEv2、iWARP基于以太网实现RDMA ，L1-L3依赖于TCP，所以RoCEv2、iWARP通信代码中可能不太关注这几个参数。
