性能提升 12 倍，Meta 推出不限定 GPU 的 AI 框架-低调大师

性能提升 12 倍，Meta 推出不限定 GPU 的 AI 框架

2022-10-09 337

到目前为止，人工智能推理引擎在很大程度上被束缚在它们所设计的特定硬件上。这样的硬件锁定意味着开发人员将需要为不同的硬件构建特定的软件，并且很可能也会减缓行业整体创新的步伐。

Meta 日前开源了一套新的 Python 框架，名为 AITemplate（AIT）。它彻底改变了上述情况，使开发者可以在不牺牲速度和性能的前提下使用不同厂商的 GPU。

AITemplate 能够提供高速的推理服务，最初将同时支持 Nvidia TensorCore 和 AMD MatrixCore 推理硬件，并且以 Apache 2.0 许可协议开放了 AITemplate 的源代码。

Meta 工程总监 Ajit Mathews 表示："当前版本的 AIT 主要是支持 Nvidia 和 AMD 的 GPU，但该平台是可扩展的，如果有需要的话，将来还可以支持 Intel 的 GPU。现在我们已经开放了 AIT 的源代码，我们欢迎任何有兴趣的芯片供应商能够为它做出贡献。”

与 PyTorch 中的 Eager 模式相比，Meta 使用 AIT 在 Nvidia A100 AI GPU 上实现了高达 12 倍的性能提升，在 AMD M1250 GPU 上实现了高达 4 倍的性能提升。

Meta 主导的 AIT 在概念与 SYCL 十分相似，后者是一个基于 C++ 异构平行编程框架，可以用来加速高性能计算、机器学习、内嵌计算，以及在相当宽泛的处理器构架之上的计算量超大的桌面应用。但 Meta 在实现的内容上有所不同。SYCL 更接近于 GPU 编程层，而 AITemplate 则专注于高性能的 TensorCore/MatrixCore AI 基元。

Meta 的工作负载在不断发展，为了满足这些不断变化的需求，Meta 需要开放和高性能的解决方案，并且他们也倾向于希望其技术栈的上层能够与特定硬件无关。如今 AIT 通过支持 AMD 和 Nvidia 的 GPU 做到了这一点。

Ajit Mathews 还表示：“我们目前和未来的许多推理工作负载都有机会从 AIT 中受益，我们认为 AIT 有潜力作为性能最强的统一推理引擎被各大厂商广泛采用。”

微信关注我们

原文链接：https://www.oschina.net/news/212921/meta-open-source-aitemplate

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

FauxPilot —— GitHub Copilot 的替代品

这是一个本地托管版本的 GitHub Copilot。它在英伟达的 Triton 推理服务器中使用了 SalesForce CodeGen 模型和 FasterTransformer 后端。前提条件 Docker docker-compose >= 1.28 一台计算能力大于 7.0 的英伟达 GPU，以及足够的 VRAM 来运行你想要的模型 nvidia-docker curl 和 zstd，用于下载和解包模型 Copilot 插件你可以配置官方 VSCode Copilot 插件来使用你的本地服务器。只要编辑你的 settings.json 来添加。 "github.copilot.advanced": { "debug.overrideEngine": "codegen", "debug.testOverrideProxyUrl": "http://localhost:5000", "debug.overrideProxyUrl": "http://localhost:5000" } 设置运行设置脚本以选择要使用的模型。这将从 Huggingface 下...

2022-10-09

1146

Rust 的发展正如火如荼；其受欢迎程度日益高涨、贡献者也越来越多，同时还被应用于一些重要领域。譬如，得到Linus Torvalds 的认可，初始的 Rust 基础设施已被合并到 Linux 6.1；以及在Android、Windows、Amazon Web Services 和 Meta 等领域进行了应用。正如分析师 RedMonk 所说，Rust 是当下的“开发者宠儿”；凭借着内存安全特性，它也将是C/C++ 的有力竞争者。每种语言都有自己的 style guides，一些足够流行的语言可能还会有来自 major users 的多种 style guides。Rust 也有一个标准化的 Style，并在 rustfmt 工具中得到了实现。该工具自动格式化 Rust 代码，旨在减少新 Rust 开发者面临的陡峭的学习曲线。Rust Style Guide中指示了开发人员"使用 spaces，而不是 tabs"，并表明"每一级缩进必须是 4 个 spaces"等。博客内容指出，“标准化的 style 帮助 Rust 开发者在许多不同的项目中感到舒适和自在，而来自 rustfmt ...

2022-10-09

382

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。