PyTorch 2.0 现已正式发布!
PyTorch 2.0 现已发布! 新版本包括稳定版的 Accelerated Transformers(以前称为 Better Transformers);Beta 功能包括: 使用 torch.compile 作为 PyTorch 2.0 的主要 API(有关 torch.compile 的全面介绍和技术概述,请访问 2.0 入门页面。) scaled_dot_product_attention 函数作为 torch.nn.functional 的一部分 MPS 后端 torch.func 模块中的 functorch API 以及 GPU 和 CPU 上各种推理、性能和训练优化功能的其他 Beta/Prototype 改进。 新功能的概括介绍: torch.compile 是 PyTorch 2.0 的主要 API,它包装并返回编译后的模型,torch.compile 是一个完全附加(和可选)的特性,因此 2.0 版本是 100% 向后兼容的。 作为 torch.compile 的基础技术,带有 Nvidia 和 AMD GPU 的 TorchInductor 将依赖 OpenA...