最流行的开源 LLM 推理引擎 —— vLLM 创建者和核心维护者宣布成立 AI Infra 初创公司：Inferact。

根据彭博社的报道，Inferact 在最新一轮种子融资中获得 1.5 亿美元资金，公司估值约 8 亿美元。该轮融资由顶级风投Andreessen Horowitz（a16z）和 Lightspeed Venture Partners 联投，多家知名机构包括 Sequoia Capital、Altimeter Capital、Redpoint Ventures 及真格基金等参与跟投。

vLLM 目前支持 500 多种模型架构，可在 200 多种加速器上运行，并支持全球规模的推理。Inferact 公司称其目标是将 vLLM 发展成为世界领先的 AI 推理引擎，并通过降低推理成本、加快推理速度来加速 AI 的发展。

在 AI 全生命周期中，推理（inference）是指将已训练的模型应用于实际任务的阶段。随着大模型和生成式 AI 应用的普及，这一阶段占用了 AI 系统中越来越多的计算资源和成本。相比过去投资集中在模型训练，现在投资者正在转向优化模型运行效率、降低推理成本的技术。Inferact 正是瞄准这一行业痛点。

许多 AI 基础设施公司在这一领域快速募集资金，反映了行业对推理技术的高度关注。优化推理性能不仅可以提升实时响应速度，还能降低云部署费用，是 AI 大规模商业化的关键一环。Inferact 此次融资不仅验证了开源技术在商业转化中的价值，也表明 AI 基础设施市场正在从训练阶段转移到推理与部署阶段。