StratoVirt vCPU管理Rust线程同步的实现
CPU完成。如下是StratoVirt中vCPU管理模块的组成，以及其在StratoVirt中的位置。
stratovirt
├── acpi
├── address_space
├── boot_loader
├── Cargo.lock
├── Cargo.toml
├── cpu
│ ├── Cargo.toml
│ └── src
│ ├── aarch64
│ │ ├── caps.rs
│ │ ├── core_regs.rs
│ │ └── mod.rs
│ ├── lib.rs
│ └── x86_64
│ ├── caps.rs
│ ├── cpuid.rs
│ └── mod.rs
├── devices
├── hypervisor
├── machine
├── machine_manager
├── migration
├── migration_derive
├── ozone
├── pci
├── src
│ └── main.rs
├── sysbus
├── util
├── vfio
└── virtio
StratoVirt vCPU模块的整体设计
kvm_ioctls来完成和KVM模块的交互，通过匹配 vcpu_fd.run()函数的返回值来处理退出到ROOT模式的事件，该函数的返回值是一个名为 VcpuExit的枚举，定义了退出到ROOT模式的事件类型，包括I/O的下发、系统关机事件、系统异常事件等，根据事件的类型vCPU将对不同的事件作出各自的处理。以上的整个过程都被包含在一个独立的vCPU线程中，用户可以自己通过对vCPU线程进行绑核等方式让虚拟机的vCPU获取物理机CPU近似百分之百的性能。
vCPU线程模型同步
VCPU_EXIT退出事件处理的流程。
VCPU_EXIT中的 SHUTDOWN事件，该vCPU线程需要把该事件传递到所有的vCPU线程，同步所有vCPU线程的状态，完成虚拟机的优雅关机。在这种场景下，我们就需要考虑在Rust中如何实现在多线程中进行状态同步。
Rust中通过条件变量来实现同步
-
notify_one(): 用来通知一次阻塞线程，如果有复数个线程被阻塞住， notify_one会被一个阻塞的线程所消耗，不会传递到别的阻塞线程去。 -
notify_all(): 用来通知所有的阻塞线程。 -
wait_timeout(): 将当前线程置入临界区阻塞住并等待通知，可以设定一个 timeout来设置阻塞的最大时间，以免造成永久的阻塞导致程序卡死。
vCPU生命周期控制和线程同步
CPU数据结构初始化时，创建一个互斥的生命周期枚举( CpuLifecycleState)和一个条件变量。
pub fn new(
vcpu_fd: Arc<VcpuFd>,
id: u8,
arch_cpu: Arc<Mutex<ArchCPU>>,
vm: Arc<Mutex<dyn MachineInterface + Send + Sync>>,
) -> Self {
CPU {
id,
fd: vcpu_fd,
arch_cpu,
state: Arc::new((Mutex::new(CpuLifecycleState::Created), Condvar::new())),
work_queue: Arc::new((Mutex::new(0), Condvar::new())),
task: Arc::new(Mutex::new(None)),
tid: Arc::new(Mutex::new(None)),
vm: Arc::downgrade(&vm),
}
}
x86_64架构下，当某个vCPU线程接收到 VcpuExit::Shutdown事件后，会将该线程的 CpuLifecycleState修改为 Stopped，并调用保存在 CPU数据结构中一个指向上层结构的虚拟机 destroy方法，该方法能遍历一个保存着所有 CPU数据结构的数组，执行数组中每一个 CPU的 destory()方法，该函数的实现如下：
fn destory(&self) -> Result<()> {
let (cpu_state, cvar) = &*self.state;
if *cpu_state.lock().unwrap() == CpuLifecycleState::Running {
*cpu_state.lock().unwrap() = CpuLifecycleState::Stopping;
} else {
*cpu_state.lock().unwrap() = CpuLifecycleState::Stopped;
}
/* 省略具体的关机逻辑 */
let mut cpu_state = cpu_state.lock().unwrap();
cpu_state = cvar
.wait_timeout(cpu_state, Duration::from_millis(32))
.unwrap()
.0;
if *cpu_state == CpuLifecycleState::Stopped {
*cpu_state = CpuLifecycleState::Nothing;
Ok(())
} else {
Err(ErrorKind::DestroyVcpu(format!("VCPU still in {:?} state", *cpu_state)).into())
}
}
CPU的成员方法， destory函数能获取到每个 CPU数据结构的互斥状态和条件变量，此时将除触发vCPU外所有的 CPU数据的互斥状态解锁，并将状态从运行时的 Running修改为vCPU关机时的 Stopping。这里要注意一点，此时所有 CPU的 destroy函数都是在触发关机事件的vCPU进程中进行的，而不是在每个vCPU各自的进程中进行。
Stopping状态后， destroy函数会执行每个vCPU各自的关机逻辑，包括触发vCPU，这部分主要还是与KVM模块进行交互，进行一些退出状态的变更等。在执行完vCPU的关机逻辑后，条件变量会进入到 wait_timeout的等待状态，它的参数为每个vCPU的 CpuLifecycleState生命周期状态枚举和等待超时时间，也就是说在该生命周期枚举状态变化前，该线程都会进入阻塞状态。
CpuLifecycleState都已经进入了 Stopping状态，在所有vCPU线程中，vCPU的指令模拟函数 kvm_vcpu_exec()都运行在一个循环中，对于每次循环的入口，都会执行 ready_for_running()函数进入是否继续模拟的判断，在该函数中会对每个vCPU对应的 CpuLifecycleState进行监控，当发现 CpuLifecycleState已经变成 Stopping时，vCPU将会退出循环，不继续进行vCPU的模拟，退出模拟的循环后，将会修改 CpuLifecycleState为 Stopped:
// The vcpu thread is about to exit, marking the state of the CPU state as Stopped.
let (cpu_state, _) = &*self.thread_cpu.state;
*cpu_state.lock().unwrap() = CpuLifecycleState::Stopped;
wait_timeout()函数，同时，该vCPU线程的生命周期结束。而对于阻塞线程，当其余vCPU线程的状态都已经变成 Stopped后，阻塞解除，此时，所有的vCPU线程都已经状态都已经同步到了 Stopped，线程状态同步成功。
关注我们
StratoVirt 当前已经在 openEuler 社区开源。后续我们将开展一系列主题分享，如果您对 StratoVirt 的使用和实现感兴趣，欢迎您围观和加入。
项目地址：https://gitee.com/openeuler/stratovirt
项目wiki：https://gitee.com/openeuler/stratovirt/wikis
您也可以订阅邮件列表：https://mailweb.openeuler.org/postorius/lists/virt.openeuler.org/
如有疑问，也欢迎提交 issue：https://gitee.com/openeuler/stratovirt/issues
入群
如果您对虚拟化技术感兴趣，可以进入 openEuler StratoVirt 主页查看相关资源，点击阅读原文进入项目主页，包括安装指导、虚拟机配置、代码仓库、学习资料等。也欢迎加入 Virt SIG 技术交流群，讨论 StratoVirt、KVM、QEMU 和 Libvirt 等相关虚拟化技术。感兴趣的同学可以添加如下微信小助手，回复 StratoVirt 入群。
本文分享自微信公众号 - openEuler（openEulercommunity）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
