vLLM —— 快速易用的 LLM 推理和服务库-低调大师

vLLM —— 快速易用的 LLM 推理和服务库

2023-11-02 1051

vLLM 是一个快速且易于使用的 LLM 推理和服务库。

vLLM 的速度很快：

最先进的服务吞吐量
使用 PagedAttention 高效管理 attention key 和 value memory
连续批处理传入请求
优化的 CUDA 内核

vLLM 灵活且易于使用：

与流行的 Hugging Face 模型无缝集成
高吞吐量服务与各种解码算法，包括并行采样、波束搜索等
对分布式推理的张量并行支持
流输出
兼容 OpenAI 的 API 服务器

vLLM 无缝支持许多 Hugging Face 模型，包括以下架构：

Aquila & Aquila2 (BAAI/AquilaChat2-7B, BAAI/AquilaChat2-34B, BAAI/Aquila-7B, BAAI/AquilaChat-7B, etc.)
Baichuan (baichuan-inc/Baichuan-7B, baichuan-inc/Baichuan-13B-Chat, etc.)
BLOOM (bigscience/bloom, bigscience/bloomz, etc.)
Falcon (tiiuae/falcon-7b, tiiuae/falcon-40b, tiiuae/falcon-rw-7b, etc.)
GPT-2 (gpt2, gpt2-xl, etc.)
GPT BigCode (bigcode/starcoder, bigcode/gpt_bigcode-santacoder, etc.)
GPT-J (EleutherAI/gpt-j-6b, nomic-ai/gpt4all-j, etc.)
GPT-NeoX (EleutherAI/gpt-neox-20b, databricks/dolly-v2-12b, stabilityai/stablelm-tuned-alpha-7b, etc.)
InternLM (internlm/internlm-7b, internlm/internlm-chat-7b, etc.)
LLaMA & LLaMA-2 (meta-llama/Llama-2-70b-hf, lmsys/vicuna-13b-v1.3, young-geng/koala, openlm-research/open_llama_13b, etc.)
Mistral (mistralai/Mistral-7B-v0.1, mistralai/Mistral-7B-Instruct-v0.1, etc.)
MPT (mosaicml/mpt-7b, mosaicml/mpt-30b, etc.)
OPT (facebook/opt-66b, facebook/opt-iml-max-30b, etc.)
Qwen (Qwen/Qwen-7B, Qwen/Qwen-7B-Chat, etc.)

微信关注我们

原文链接：https://www.oschina.net/p/vllm

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | 如何充分发挥 SQL 能力？

如何充分发挥 SQL 能力，是本篇文章的主题。本文尝试独辟蹊径，强调通过灵活的、发散性的数据处理思维，就可以用最基础的语法，解决复杂的数据场景。一、前言 1.1 初衷如何高效地使用 MaxCompute（ODPS）SQL ，将基础 SQL 语法运用到极致。在大数据如此流行的今天，不只是专业的数据人员，需要经常地跟 SQL 打交道，即使是产品、运营等非技术同学，也会或多或少地使用到 SQL ，如何高效地发挥 SQL 的能力，继而发挥数据的能力，变得尤为重要。 MaxCompute（ODPS）SQL 发展到今天已经颇为成熟，作为一种 SQL 方言，其 SQL 语法支持完备，具有非常丰富的内置函数，支持开窗函数、用户自定义函数、用户自定义类型等诸多高级特性，可以高效地应用在各种数据处理场景。如何充分发挥 SQL 能力，是本篇文章的主题。本文尝试独辟蹊径，强调通过灵活的、发散性的数据处理思维，就可以用最基础的语法，解决复杂的数据场景。 1.2 适合人群不论是初学者还是资深人员，本篇文章或许都能有所帮助，不过更适合中级、高级读者阅读。本篇文章重点介绍数据处理思维，并没有涉及到过多高阶...

2023-11-02

332

2020 年，借鉴沙箱/容器的技术方案，玲珑原型的核心开发悄然完成； 2022 年，作为 deepin 发行版未来的核心特性，玲珑随 deepin v23 预览版共同发布，初步具备可用性； 2023 年，我们将玲珑项目代码、玲珑官网、玲珑商店等资产捐赠给开放原子开源基金会，欲汇聚更多产业力量，携手推动玲珑发展，加速生态建设...... 那么到底何为“玲珑”？它从哪里来？又要到哪里去？接下来，此文为你一一揭秘。前言：软件包管理器的演进 Linux 操作系统一直以其开源性质和灵活性而闻名，而要使 Linux 系统能够顺利安装并运行所需的软件，最关键的部分就是软件包管理器。顾名思义，Linux 软件包管理器是一种在 Linux 操作系统上用于安装、更新和卸载软件包的工具。它的历史可以追溯到上世纪 90 年代，此时 Linux 正处于起步阶段，软件的安装必须手动下载源代码并编译，这对非技术用户来说是一项繁琐且困难的任务。这种情况下，先后催生了 dpkg 和 rpm，然而由于不能自动解决依赖关系，其使用起来依旧不便。直到 Debian 的 apt、Red Hat 的 up2date 的发...

2023-11-02

437

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。