前言

本章节介绍基于HanGuangAI软件运行时（RunTime）的开发。这些运行时编程接口既可以整合到框架中，也可以用来实现推理引擎，或者直接被AI应用程序使用。现阶段，他们是运行时控制使用含光NPU的唯一编程接口。

当前AI计算芯片的架构各异，表现在软件接口上，就是没有一套标准的编程接口。Nvidia的领头羊地位，由其通用计算拓展到AI计算领域，但由于芯片架构之间差别太大，它的编程接口并不适合其他架构。况且就是Nvidia自己，也有不同层次，不同目的的编程接口：从底层的CUDA驱动接口，到CUDA运行库，TensorRT，以及其他的运算库。

我们在设计自己的编程接口的时候，尽量使用一些被普遍使用的名词和组织方式，以方便开发者能快速了解和掌握含光NPU的编程。因此，如果你熟悉CUDA/TensorRT，会有一些熟悉的感觉。但是，由于