[openstack]NFVI特性之实时虚拟机(一）

..
声明：
本博客欢迎转发，但请保留原作者信息!
博客地址：http://blog.csdn.net/halcyonbaby
新浪微博：@寻觅神迹

内容系本人学习、研究和总结，如有雷同，实属荣幸！

---

openstack特性之虚拟机实时性

虚拟机实时性特性是openstack M版本引入的。
虚拟机实时性特性，旨在改善提供低延迟的CPU调度能力。

实时性虚拟机主要用于跑需要对CPU执行延迟要求苛刻的负载。典型的如NFV场景的应用，也可以用于金融市场高频交易等场合。

原理

目前主要有以下手段改善实时性：

• CPU pinning
  防止虚拟机之间互相“steal time”，从而影响CPU调度延迟。
  
• 主机资源
  解决kernel task占用CPU，导致的CPU调度延迟。
  
• QEMU Emulator thread pin
  解决QEMU Emulator线程占用CPU，导致的CPU调度延迟。
  这个仍然会导致虚拟机部分vCPU不是实时的，Linux可以支持，但是某些实时性OS不支持。（解决方法参见文后“参考3”）
  
• Guest VCPU调度策略
  给guest vCPUs配置合适的调度策略，解决调度导致的CPU延迟。
  
• 使用大页
  确保Guest内存不会被swap到host上。
  
• 防止QEMU内存swap
  配置QEMU内存不被swap，避免内存swap导致的延迟。
  
• Qemu GA
  虚拟机不能配置qemu ga，方式guest agent影响实时性。
  

使用注意

实时性是存在代价的。为了在最坏情况下，满足对CPU延迟的苛刻要求，整个系统的吞吐能力都要做妥协。
因此，无条件使用实时性，并不合理。只有在业务负载真的需要时，才开启这个选项。
很多情况下，仅仅使用CPU pinning就可以满足业务的对实时性的 要求。

根据社区的测试效果：

• baremetal + dedicated cpu + non-realtime scheduler
  worst case latency：150微秒，mean latency：2微秒
  
• KVM + dedicated cpu + realtime scheduler
  worst case latency：14微秒， mean latency：<10微秒
  

使用方法

为了达到最优的效果，需要配合使用之前的numa亲和特性、dedicated cpu pinning特性、huge page特性。
由于开启实时是有代价的，一般来说，需要通过host aggregate将支持实时和不支持实时的computes host分开。

• flavor中增加“hw:cpu_realtime=yes|no”开启实时策略
  
  • 前提是配置了”hw:cpu_policy”为”dedicated”。
  • kvm主要做了配置：1. QEMU和guest RAM lock 2. 所有的vCPUs使用固定的实时调度策略。
• flavor中增加hw:cpu_realtime_mask=^0-1参数控制emulator使用的cpu
  
  • 这个必须配置的。
  • 将某些vCPUs分配给emulator使用，且使用非实时调度策略。其他的vCPU会使用实时调度策略。（默认虚拟机会使用所有vCPU给emulator用）。
  • 更进一步的在主机上固定一些pCPU供emulator使用，在P版本才完成（没仔细看，不确定做了什么事）URL。

例子

# 如果不配置cpu绑定会出现以下错误。[stack@localhost devstack]$ openstack server create --flavor realtime  --image  cirros-0.3.4-x86_64-uec realtimeCannot set realtime policy in a non dedicated cpu pinning policy (HTTP 400) (Request-ID: req-95b9c93c-cbac-4f1b-bf37-4942afa53860)# 如果不配置配置cpu mask会出现以下错误[stack@localhost devstack]$ openstack server create --flavor realtime  --image  cirros-0.3.4-x86_64-uec realtimeRealtime policy needs vCPU(s) mask configured with at least 1 RT vCPU and 1 ordinary vCPU. See hw:cpu_realtime_mask or hw_cpu_realtime_mask (HTTP 400) (Request-ID: req-0f09c25a-9f56-4baf-9519-71d5b3abae29)openstack flavor create --ram 1024 --vcpu 4 --disk 1 realtime4openstack flavor set --property hw:cpu_realtime=yes realtime4openstack flavor set --property hw:cpu_policy=dedicated realtime4openstack flavor set --property hw:cpu_realtime_mask=^0-1  realtime4openstack server create --flavor realtime4  --image  cirros-0.3.4-x86_64-uec realtime4[stack@localhost devstack]$ sudo virsh list Id    Name                           State---------------------------------------------------- 3     instance-00000003              running[stack@localhost devstack]$ sudo virsh show 3error: unknown command: 'show'[stack@localhost devstack]$ sudo virsh dumpxml  3<domain type='kvm' id='3'>  <name>instance-00000003</name>  <uuid>bcd4164b-f0da-4f70-8864-6514ff5c1c54</uuid>  <metadata>    <nova:instance xmlns:nova="http://openstack.org/xmlns/libvirt/nova/1.0">      <nova:package version="15.0.4"/>      <nova:name>realtime4</nova:name>      <nova:creationTime>2017-05-05 09:14:48</nova:creationTime>      <nova:flavor name="realtime4">        <nova:memory>1024</nova:memory>        <nova:disk>1</nova:disk>        <nova:swap>0</nova:swap>        <nova:ephemeral>0</nova:ephemeral>        <nova:vcpus>4</nova:vcpus>      </nova:flavor>      <nova:owner>        <nova:user uuid="2a925cf044ec4d8daace6d716c114e2b">admin</nova:user>        <nova:project uuid="2d1d6c8084544f09a3e78b0a5f5ab323">admin</nova:project>      </nova:owner>      <nova:root type="image" uuid="fc7db502-c469-4617-85cc-13c7cc05c0ce"/>    </nova:instance>  </metadata>  <memory unit='KiB'>1048576</memory>  <currentMemory unit='KiB'>1048576</currentMemory>  <memoryBacking>    <nosharepages/>    <locked/>  </memoryBacking>  <vcpu placement='static'>4</vcpu>  <cputune>    <shares>4096</shares>    <vcpupin vcpu='0' cpuset='0'/>    <vcpupin vcpu='1' cpuset='1'/>    <vcpupin vcpu='2' cpuset='2'/>    <vcpupin vcpu='3' cpuset='3'/>    <emulatorpin cpuset='0-1'/>    <vcpusched vcpus='2-3' scheduler='fifo' priority='1'/>  </cputune>  <numatune>    <memory mode='strict' nodeset='0'/>    <memnode cellid='0' mode='strict' nodeset='0'/>  </numatune>  <resource>    <partition>/machine</partition>  </resource>  <sysinfo type='smbios'>    <system>      <entry name='manufacturer'>OpenStack Foundation</entry>      <entry name='product'>OpenStack Nova</entry>      <entry name='version'>15.0.4</entry>      <entry name='serial'>187ec700-6ff3-4e83-87b2-9559c4406874</entry>      <entry name='uuid'>bcd4164b-f0da-4f70-8864-6514ff5c1c54</entry>      <entry name='family'>Virtual Machine</entry>    </system>  </sysinfo>  <os>    <type arch='x86_64' machine='pc-i440fx-2.7'>hvm</type>    <kernel>/opt/stack/data/nova/instances/bcd4164b-f0da-4f70-8864-6514ff5c1c54/kernel</kernel>    <initrd>/opt/stack/data/nova/instances/bcd4164b-f0da-4f70-8864-6514ff5c1c54/ramdisk</initrd>    <cmdline>root=/dev/vda console=tty0 console=ttyS0</cmdline>    <boot dev='hd'/>    <smbios mode='sysinfo'/>  </os>  <features>    <acpi/>    <apic/>  </features>  <cpu>    <topology sockets='2' cores='1' threads='2'/>    <numa>      <cell id='0' cpus='0-3' memory='1048576' unit='KiB'/>    </numa>  </cpu>  <clock offset='utc'>    <timer name='pit' tickpolicy='delay'/>    <timer name='rtc' tickpolicy='catchup'/>    <timer name='hpet' present='no'/>  </clock>  <on_poweroff>destroy</on_poweroff>  <on_reboot>restart</on_reboot>  <on_crash>destroy</on_crash>  <devices>    <emulator>/usr/bin/qemu-kvm</emulator>    <disk type='file' device='disk'>      <driver name='qemu' type='qcow2' cache='none'/>      <source file='/opt/stack/data/nova/instances/bcd4164b-f0da-4f70-8864-6514ff5c1c54/disk'/>      <backingStore type='file' index='1'>        <format type='raw'/>        <source file='/opt/stack/data/nova/instances/_base/85c8d3de1cae1e1b02f19d8a745fb3a132aeb055'/>        <backingStore/>      </backingStore>      <target dev='vda' bus='virtio'/>      <alias name='virtio-disk0'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>    </disk>    <controller type='usb' index='0' model='piix3-uhci'>      <alias name='usb'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x2'/>    </controller>    <controller type='pci' index='0' model='pci-root'>      <alias name='pci.0'/>    </controller>    <interface type='bridge'>      <mac address='fa:16:3e:9b:4e:f5'/>      <source bridge='qbr08a5bede-6a'/>      <target dev='tap08a5bede-6a'/>      <model type='virtio'/>      <alias name='net0'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>    </interface>    <serial type='pty'>      <source path='/dev/pts/23'/>      <log file='/opt/stack/data/nova/instances/bcd4164b-f0da-4f70-8864-6514ff5c1c54/console.log' append='off'/>      <target port='0'/>      <alias name='serial0'/>    </serial>    <console type='pty' tty='/dev/pts/23'>      <source path='/dev/pts/23'/>      <log file='/opt/stack/data/nova/instances/bcd4164b-f0da-4f70-8864-6514ff5c1c54/console.log' append='off'/>      <target type='serial' port='0'/>      <alias name='serial0'/>    </console>    <input type='mouse' bus='ps2'>      <alias name='input0'/>    </input>    <input type='keyboard' bus='ps2'>      <alias name='input1'/>    </input>    <graphics type='vnc' port='5900' autoport='yes' listen='127.0.0.1' keymap='en-us'>      <listen type='address' address='127.0.0.1'/>    </graphics>    <video>      <model type='cirrus' vram='16384' heads='1' primary='yes'/>      <alias name='video0'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>    </video>    <memballoon model='virtio'>      <stats period='10'/>      <alias name='balloon0'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>    </memballoon>  </devices>  <seclabel type='dynamic' model='selinux' relabel='yes'>    <label>system_u:system_r:svirt_t:s0:c687,c779</label>    <imagelabel>system_u:object_r:svirt_image_t:s0:c687,c779</imagelabel>  </seclabel>  <seclabel type='dynamic' model='dac' relabel='yes'>    <label>+107:+107</label>    <imagelabel>+107:+107</imagelabel>  </seclabel></domain>

参考

1. https://specs.openstack.org/openstack/nova-specs/specs/mitaka/implemented/libvirt-real-time.html
2. https://review.openstack.org/#/c/225893/3/specs/mitaka/approved/libvirt-emulator-threads-policy.rst
3. https://blueprints.launchpad.net/nova/+spec/libvirt-emulator-threads-policy