英伟达发布 Windows 版 TensorRT-LLM 库，为本地运行大模型提速-低调大师

英伟达发布 Windows 版 TensorRT-LLM 库，为本地运行大模型提速

2023-10-18 424

英伟达发布了 Windows 版本的 TensorRT-LLM 库，称其将大模型在 RTX 上的运行速度提升 4 倍。

GeForce RTX 和 NVIDIA RTX GPU 配备了名为 Tensor Core 的专用 AI 处理器，正在为超过 1 亿台 Windows PC 和工作站带来原生生成式 AI 的强大功能。

TensorRT-LLM 是一个开源库，用于提升上述 GPU 运行最新 AI 大模型（如 Llama 2 和 Code Llama）的推理性能。上个月英伟达发布了面向数据中心的 TensorRT-LLM，现在最新发布的 TensorRT-LLM for Windows 主要是面向家用电脑，将 PC 上运行 LLM 的速度提高了 4 倍。

英伟达还同时发布了帮助开发人员加速 LLM 的工具，包括使用 TensorRT-LLM 优化自定义模型的脚本、TensorRT 优化的开源模型以及展示 LLM 响应速度和质量的开发人员参考项目。

微信关注我们

原文链接：https://www.oschina.net/news/262298/tensorrt-llm-windows-stable-diffusion-rtx

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《全球人工智能治理倡议》发布

中国网信网于今日发布《全球人工智能治理倡议》，具体内容如下：人工智能是人类发展新领域。当前，全球人工智能技术快速发展，对经济社会发展和人类文明进步产生深远影响，给世界带来巨大机遇。与此同时，人工智能技术也带来难以预知的各种风险和复杂挑战。人工智能治理攸关全人类命运，是世界各国面临的共同课题。在世界和平与发展面临多元挑战的背景下，各国应秉持共同、综合、合作、可持续的安全观，坚持发展和安全并重的原则，通过对话与合作凝聚共识，构建开放、公正、有效的治理机制，促进人工智能技术造福于人类，推动构建人类命运共同体。我们重申，各国应在人工智能治理中加强信息交流和技术合作，共同做好风险防范，形成具有广泛共识的人工智能治理框架和标准规范，不断提升人工智能技术的安全性、可靠性、可控性、公平性。我们欢迎各国政府、国际组织、企业、科研院校、民间机构和公民个人等各主体秉持共商共建共享的理念，协力共同促进人工智能治理。为此，我们倡议： ——发展人工智能应坚持“以人为本”理念，以增进人类共同福祉为目标，以保障社会安全、尊重人类权益为前提，确保人工智能始终朝着有利于人类文明进步的方向发展。积极支持以人工智能助...

2023-10-18

302

雷军昨天官宣「小米澎湃OS」正式诞生（英文命名为 Xiaomi HyperOS），称其将接替 MIUI，并表示正式版已完成封包。小米澎湃OS基于深度进化的 Android 以及自研的 Vela 系统融合，彻底重写底层架构。小米14系列则是第一款搭载小米澎湃OS的手机，目前已交付工厂开始生产。根据网上流传的小米澎湃OS界面截图，其采用全新控制中心，相比MIUI 14有了很大变化，小米妙想中心位于控制界面中央，方便使用。从界面来看，澎湃OS线条更简洁，视觉更清爽。有数码博主爆料称，小米澎湃OS是自MIUI 12以来的最大更新，拥有类似iOS锁屏编辑器。此外，新系统的天气动画全面升级，动效更真实，比如云的形状和光影会微调，不像之前直接贴图。当然，上述截图都没有得到官方证实，一切请以小米官方公布的信息为准。

2023-10-18

416

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。