Neutron OVS Bridge 连接方式 (veth pair / ovs peer) 的选型和性能测试

概述

  Neutron 的桥的连接从Juno开始使用了ovs peer代替veth pair作为默认的网桥连接方式，并宣称有性能方面的提升（ commit）。同时在配置文件（/etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini ）中保留了veth模式的支持配置。

[ovs]use_veth_interconnection=True

       由于一些原因我需要在桥连接接口上做限速， ovs patch peer 本身不存在逻辑网络设备（通过ip link show无法查询），也无法对它进行tc操作。同时OVS本身提供的限速命令也是通过TC做的，这样就导致TC和OVS限速方案都必须采用veth进行。这里进行一组对比试验。

图示说明： 黄色（ins）表示VM，蓝色（br）表示OVS Bridge，绿色（pt）表示ovs port.

                 左侧表示veth的架构，右侧表示peer的架构.

环境创建工具

#create_one_node <namespace_name> <ovs_br> <cider>

Veth Pair Mode

[root@pacemaker-1 net-tools]# ./create_ns_net_env.sh ins_vethA br_vethA "1.1.1.1/24"

[root@pacemaker-1 net-tools]# ./create_ns_net_env.sh ins_vethB br_vethB "1.1.1.2/24"

[root@pacemaker-1 net-tools]# ip link add name pt_vethA type veth peer name pt_vethB

[root@pacemaker-1 net-tools]# ovs-vsctl add-port br_vethA pt_vethA
[root@pacemaker-1 net-tools]# ovs-vsctl add-port br_vethB pt_vethB

[root@pacemaker-1 net-tools]# ip link set pt_vethA up
[root@pacemaker-1 net-tools]# ip link set pt_vethB up

[root@pacemaker-1 net-tools]# ip netns exec ins_vethA netserver
Starting netserver with host 'IN(6)ADDR_ANY' port '12865' and family AF_UNSPEC
[root@pacemaker-1 net-tools]# ip netns exec ins_vethB netperf -H 1.1.1.1

OVS Patch Peer Mode

[root@pacemaker-1 net-tools]# ./create_ns_net_env.sh ins_peerA br_peerA "2.2.2.1/24"

[root@pacemaker-1 net-tools]# ./create_ns_net_env.sh ins_peerB br_peerB "2.2.2.2/24"

[root@pacemaker-1 net-tools]#ovs-vsctl add-port br_peerA pt_peerA

[root@pacemaker-1 net-tools]#ovs-vsctl add-port br_peerB pt_peerB

[root@pacemaker-1 net-tools]#ovs-vsctl set interface pt_peerA type=patch

[root@pacemaker-1 net-tools]#ovs-vsctl set interface pt_peerB type=patch

[root@pacemaker-1 net-tools]#ovs-vsctl set interface pt_peerA options:peer=pt_peerB

[root@pacemaker-1 net-tools]#ovs-vsctl set interface pt_peerB options:peer=pt_peerA

[root@pacemaker-1 net-tools]# ip netns exec ins_peerA netserver
Starting netserver with host 'IN(6)ADDR_ANY' port '12865' and family AF_UNSPEC
[root@pacemaker-1 net-tools]# ip netns exec ins_peerB netperf -H 2.2.2.1

结论

经过多次采样结论数据在如下标准内浮动，veth的peer的95%, 暂时准备采用veth方案，方便进行限速，进一步了解peer的限速

veth	6650
peer	7000

未尽

veth pair 和 ovs patch peer的差距在性能上是一方面，另一点是veth pair会带来更多的网卡软中断。