华为 AI 模型运行专利公布

天眼查 App 资料显示，华为技术有限公司申请的“AI模型的运行方法、装置、程序产品和存储介质”专利于 9 月 5 日公布。

摘要显示，本公开提供了一种AI模型的运行方法、装置、程序产品和存储介质，属于机器学习技术领域。该方法应用于主机，主机包括处理器，并连接计算卡，该方法包括：处理器确定AI模型相邻的两组输入数据中在第二数据组中但不在第一数据组中的第一数据，第二数据组在第一数据组之后训练，将第一数据对应的第一嵌入向量预取至处理器的第一内存，并确定第一数据对应的第一嵌入向量信息，在第二数据组在计算卡上处理过程中，根据第一嵌入向量信息将第一嵌入向量从第一内存预取至计算卡的第二内存。采用本公开所示的方案，能够减少嵌入向量搬运带来的处理延时。