英伟达发布 Windows 版 TensorRT-LLM 库，为本地运行大模型提速-低调大师

英伟达发布 Windows 版 TensorRT-LLM 库，为本地运行大模型提速

2023-10-18 425

英伟达发布了 Windows 版本的 TensorRT-LLM 库，称其将大模型在 RTX 上的运行速度提升 4 倍。

GeForce RTX 和 NVIDIA RTX GPU 配备了名为 Tensor Core 的专用 AI 处理器，正在为超过 1 亿台 Windows PC 和工作站带来原生生成式 AI 的强大功能。

TensorRT-LLM 是一个开源库，用于提升上述 GPU 运行最新 AI 大模型（如 Llama 2 和 Code Llama）的推理性能。上个月英伟达发布了面向数据中心的 TensorRT-LLM，现在最新发布的 TensorRT-LLM for Windows 主要是面向家用电脑，将 PC 上运行 LLM 的速度提高了 4 倍。

英伟达还同时发布了帮助开发人员加速 LLM 的工具，包括使用 TensorRT-LLM 优化自定义模型的脚本、TensorRT 优化的开源模型以及展示 LLM 响应速度和质量的开发人员参考项目。

微信关注我们

原文链接：https://www.oschina.net/news/262298/tensorrt-llm-windows-stable-diffusion-rtx

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《全球人工智能治理倡议》发布

中国网信网于今日发布《全球人工智能治理倡议》，具体内容如下：人工智能是人类发展新领域。当前，全球人工智能技术快速发展，对经济社会发展和人类文明进步产生深远影响，给世界带来巨大机遇。与此同时，人工智能技术也带来难以预知的各种风险和复杂挑战。人工智能治理攸关全人类命运，是世界各国面临的共同课题。在世界和平与发展面临多元挑战的背景下，各国应秉持共同、综合、合作、可持续的安全观，坚持发展和安全并重的原则，通过对话与合作凝聚共识，构建开放、公正、有效的治理机制，促进人工智能技术造福于人类，推动构建人类命运共同体。我们重申，各国应在人工智能治理中加强信息交流和技术合作，共同做好风险防范，形成具有广泛共识的人工智能治理框架和标准规范，不断提升人工智能技术的安全性、可靠性、可控性、公平性。我们欢迎各国政府、国际组织、企业、科研院校、民间机构和公民个人等各主体秉持共商共建共享的理念，协力共同促进人工智能治理。为此，我们倡议： ——发展人工智能应坚持“以人为本”理念，以增进人类共同福祉为目标，以保障社会安全、尊重人类权益为前提，确保人工智能始终朝着有利于人类文明进步的方向发展。积极支持以人工智能助...

2023-10-18

302

雷军昨天官宣「小米澎湃OS」正式诞生（英文命名为 Xiaomi HyperOS），称其将接替 MIUI，并表示正式版已完成封包。小米澎湃OS基于深度进化的 Android 以及自研的 Vela 系统融合，彻底重写底层架构。小米14系列则是第一款搭载小米澎湃OS的手机，目前已交付工厂开始生产。根据网上流传的小米澎湃OS界面截图，其采用全新控制中心，相比MIUI 14有了很大变化，小米妙想中心位于控制界面中央，方便使用。从界面来看，澎湃OS线条更简洁，视觉更清爽。有数码博主爆料称，小米澎湃OS是自MIUI 12以来的最大更新，拥有类似iOS锁屏编辑器。此外，新系统的天气动画全面升级，动效更真实，比如云的形状和光影会微调，不像之前直接贴图。当然，上述截图都没有得到官方证实，一切请以小米官方公布的信息为准。

2023-10-18

416

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。