KVM虚拟化技术的-NUMA技术和应用

  NUMA技术是解决多CPU共同工作的技术方案，多CPU共同工作主要有3中架构：SMP：Symmetric Multi-Processor)，非统一存储访问结构(NUMA：Non-Uniform Memory Access)，以及海量并行处理结构(MPP：Massive Parallel Processing；
访问存储器可以分为两种：统一存储器访问（UMA）和非统一存储器访问（NUMA）。
1.SMP技术：
    SMP多个CPU通过一个总线访问存储器，SMP系统有事也被称为一致内存访问（UMA）结构体系；在SMP系统上，所有的cpu对共享内存控制器拥有相同的访问权限。cpu之间的访问这个共享资源的请求会导致拥塞。这个单独的内存控制器能够管理的内存大小也是有限的；
2.MPP模式：
    MPP提供了另外一种进行系统扩展的方式，它由多个SMP服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统。其基本特征是由多个SMP服务器通过节点互联网络连接而成，每个节点只访问自己的本地资源(内存、存储等)，是一种完全无共享(Share Nothing)结构，因而扩展能力最好，理论上其扩展无限制，目前的技术可实现512个节点互联，数千个CPU。目前业界对节点互联网络暂无标准，如 NCR的Bynet，IBM的SPSwitch，它们都采用了不同的内部实现机制。但节点互联网仅供MPP服务器内部使用，对用户而言是透明的。
3.NUMA技术
    NUMA模式是每个处理器有自己的存储器，每个处理也可以访问别的处理器的存储器；与UMA相比，UMA提供了一个集中的内存池（因此在一定数量的处理器之后无法扩展），NUMA架构将内存划分为相对于微处理器的本地和远程内存。

4.KVM虚拟机NUMA调优
NUMA架构每个处理器都可以访问自己的存储器和其他处理器的存储器，访问自己的存储器要比访问其他的存储器快的多，速度相差10-100倍，所以NUMA调优的目的就是让处理器尽量访问自己的存储器，以提高访问速度。

#安装 numactl
[root@node3 ~] yum install  numactl 
#安装后出现以下三个命令
#numactl   用于控制 进程与共享存储的 NUMA 技术机制
#numademo  
#numastat  提供了一个监测NUMA架构的工具


[root@node3 ~] # numactl --hardware    #共有2个node，各领取16个CPU和128G内存
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23 
node 0 size: 131037 MB
node 0 free: 3019 MB
node 1 cpus: 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31
node 1 size: 131071 MB
node 1 free: 9799 MB
node distances:
node 0 1
 0: 10 20
 1: 20 10

[root@node3 ~] # numactl --cpubind=0 --membind=0 python param    #python在node0中执行

[root@node3 ~] # numactl --cpubind=1 --membind=1 java param     #java在node1中执行

[root@node3 ~] # numactl --interleave=all mongod -f /etc/mongod.conf    #分配所有的node供mongodb使用

[root@node3 ~]# numastat    #通过numastat命令可以查看numa状态
 node0 node1
 numa_hit 1775216830 6808979012    #使用本节点内存次数
 numa_miss 4091495 494235148       #计划使用本节点内存而被调度到其他节点次数
 numa_foreign 494235148 4091495    #计划使用其他节点内存而使用本地内存次数  
 interleave_hit 52909 53004        #交叉分配使用的内存中使用本节点的内存次数
 local_node 1775205816 6808927908  #在本节点运行的程序使用本节点内存次数  
 other_node 4102509 494286252      #在其他节点运行的程序使用本节点内存次数 


[root@node3 ~]# virsh list  --all
 Id    Name                           State
----------------------------------------------------
 17    centos7.0                      running
 20    centos7.2                      running

[root@node3 ~]# virsh numatune 20   #命令可以查看或者修改虚拟机的NUMA配置
numa_mode      : strict
numa_nodeset   : 

[root@node3 ~]# virsh vcpuinfo centos7.2 #查看虚拟机的VCPU调度信息
VCPU:           0   
CPU:            1   #vcpu 0 被调用到cpu1上 
State:          running   #使用状态
CPU time:       17.6s     #使用时间
CPU Affinity:   yyyy      可以使用的物理CPU内部的逻辑核 


[root@node3 ~]# virsh emulatorpin centos7.2 #查看虚拟机调用那些CPU
emulator: CPU Affinity
----------------------------------
       *: 0-7

[root@node3 ~]# virsh numatune centos7.2 #设置虚拟机CPU在部分物理CPU之间调度
numa_mode      : strict
numa_nodeset   : 

[root@node3 ~]# virsh emulatorpin centos7.2 4-7 --live 

[root@node3 ~]# virsh emulatorpin centos7.2
emulator: CPU Affinity
----------------------------------
       *: 4-7

[root@node3 ~]# virsh  dumpxml 2 |grep vcpu -C2 #查看配置看VCPU调度信息
  <memory unit='KiB'>4188160</memory>
  <currentMemory unit='KiB'>2097152</currentMemory>
  <vcpu placement='static' current='2'>4</vcpu>
  <cputune>
    <emulatorpin cpuset='4-7'/>

CPU绑定技术和原理：
CPU绑定实际是通过Libvirt通过CGroup来实现的，CGroup直接去绑定KVM虚拟机进程也可以。CGroup不仅可以绑定CPU，也可以绑定虚拟机磁盘，网络的资源控制；

#强制VCPU和物理CPU一对一的绑定
[root@node3 ~]# virsh vcpupin centos7.2 0 4     #绑定VCPU 0和物理CPU 4 

[root@node3 ~]# virsh vcpupin centos7.2 1 5 

[root@node3 ~]# virsh vcpuinfo  centos7.2 
VCPU:           0
CPU:            4
State:          running
CPU time:       17.9s
CPU Affinity:   ----y---

VCPU:           1
CPU:            5
State:          running
CPU time:       10.6s
CPU Affinity:   -----y--

[root@node3 ~]# virsh  dumpxml 2 |grep vcpu -C2  #查看配置文件信息
  <memory unit='KiB'>4188160</memory>
  <currentMemory unit='KiB'>2097152</currentMemory>
  <vcpu placement='static' current='2'>4</vcpu>
  <cputune>
    <vcpupin vcpu='0' cpuset='4'/>
    <vcpupin vcpu='1' cpuset='5'/>
    <vcpupin vcpu='2' cpuset='6'/>
    <emulatorpin cpuset='4-7'/>
  </cputune>

参考：
https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/virtualization_tuning_and_optimization_guide/chap-virtualization_tuning_optimization_guide-numa
http://docs.redhat.com
https://docs.openstack.org/queens/
http://cloud.centos.org
https://www.centos.org/