搜索[全模态推理]结果-低调大师优秀个人博客

精选列表

搜索[全模态推理]，共10000篇文章

Omni-Infer v0.4.1 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.4.1 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括： v0.4.1 核心特性稳定性压测与优化支持模型列表模型硬件精度类型部署形态 DeepSeek-R1

2025-09-23

蚂蚁百灵大模型团队开源高性能推理 MoE 模型 Ring-mini-2.0

蚂蚁百灵大模型团队正式发布 Ring-mini-2.0，一款基于 Ling-mini-2.0 架构深度优化的高性能推理型 MoE 模型（Thinking model）。

2025-09-18

Omni-Infer v0.3.0 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.3.0 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括： v0.3.0 核心特性支持vllm 0.9.0 release 其他优化基于18P8-1D144

2025-08-15

Omni-Infer v0.2.0 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.2.0 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括： v0.2.0 核心特性支持vllm 0.8.3 release 其他优化基于18P8-1D144

2025-08-06

Omni-Infer v0.1.0 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.1.0 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括： v0.1.0 这是我们的第一个正式开源版本核心特性 PD分离 MTP 入图图缓存 omni-attention

2025-07-07

国产替代 + 大模型推理优化，AI 产业发展需要强大的基础设施

在人工智能迈向「智算融合」的新时代，大模型凭借其强大的认知与推理能力，正逐步重塑千行百业的智能化图景。然而，大模型推理环节的高算力消耗、高延迟与高能耗问题，成为其规模化落地的关键掣肘。

2025-05-13

推理 AI 模型基准测试成本激增：评估一个或需近 3000 美元

第三方 AI 测试机构 Artificial Analysis 数据显示，在七种流行的 AI 基准测试中评估 OpenAI 的 o1 推理模型需要花费 2,767.05 美元：MMLU-Pro、GPQA

2025-04-11

如何高效地为「推理模型」编写最佳提示词？万字长文介绍

02 O1/O3-mini 与 GPT-4o 的差异分析 2.1 输入结构与上下文处理内置推理 vs 提示词驱动推理：O1 系列模型内置思维链推理机制，能够自主进行多步骤分析，无需通过提示词引导其"逐步思考

2025-03-14

一键部署QwQ-32B推理模型，2种方式简单、快速体验

QwQ-32B推理模型正式发布并开源，凭借其卓越的性能和广泛的应用场景，迅速在全球范围内获得了极高的关注度。

2025-03-11

【Xinference v0.13.1 正式发布】一键部署 AI 模型，开启智能推理新纪元！

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。

2024-07-18

更快的训练和推理: 对比 Habana Gaudi®2 和英伟达 A100 80GB

通过本文，你将学习如何使用 Habana® Gaudi®2 加速模型训练和推理，以及如何使用 🤗 Optimum Habana 训练更大的模型。

2023-08-02

【ACL 2023】具有高效推理速度的中文领域文图生成扩散模型和工具链

同时，扩散模型的推理速度和计算成本也是需要考虑的重要因素，而迭代逆扩散去噪过程的繁琐计算一直是扩散模型推理速度的瓶颈。

2023-07-11

[EuroSys2023 Best Poster] 面向动态图的极低时延GNN推理采样服务

GraphLearn最新开源了面向动态图的GNN在线推理实时采样服务(DGS)。DGS具备处理实时高吞吐图更新的能力，并能保证低时延、高并发的推理采样查询处理。

2023-06-05

SOFARPC是近期蚂蚁金服开源的一个高可扩展性、高性能、生产级的 Java RPC 框架。在蚂蚁金服 SOFARPC 已经经历了十多年及五代版本的发展。SOFARPC 致力于简化应用之间的 RPC 调用，为应用提供方便透明、稳定高效的点对点远程服务调用方案。为了用户和开发者方便的进行功能扩展，SOFARPC 提供了丰富的模型抽象和可扩展接口，包括过滤器、路由、负载均衡等等。伴随SOFARPC的开源，我们也开源了sofa-bolt-node和sofa-rpc-node两个 Nodejs RPC 基础模块。但细心的用户可能注意了我们在文档里面写到并不希望大家直接使用它们，并预告会在 Eggjs 里提供 RPC 最佳实践。现在这个最佳实践来了，它就是： egg-sofa-rpc插件： https://github.com/

2018-06-20

DeepMind说机器推理水平能超人类，现在有人把代码搞出来了

前天，DeepMind发布两篇新论文，探讨了深度神经网络利用非结构化数据进行复杂关系推理的能力。（报道传送门）在第一篇论文，DeepMind证明神经网络在简单关系推理中，表现超过人类。

2018-01-01

这篇文章会告诉你DeepMind关系推理网络的真实面貌

比如关于该关系推理网络的报道： DeepMind开发了一种神经网络，能够感知其周围的物体。实际上这种报导不仅仅是误导性的，而且使得很多不明真相的吃瓜群众感到恐慌：AI真的已经强到如此地步了吗？

2017-10-23

从 0 到 1 部署到 Spring Boot 全链路实战，生产级坑全填平

如果你正准备上 RabbitMQ，或者已经装了但心里没底，这篇就是你的“从 0 到 1 生产级落地手册”。不是 Hello World，不是只讲概念，而是从真实订单场景出发，把选型、部署、配置、Spring Boot 集成、可靠性、集群、监控一次讲透。每一步都有命令、配置、代码，能直接搬进项目。

2026-10-09

高性能高扩展的亿级电商全端实时数据仓库全实现（PC、移动、小程序）

高性能高扩展的亿级电商全端实时数据仓库全实现（PC、移动、小程序），以热门的互联网电商实际业务应用场景为案例讲解，对电商数据仓库的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：每日、月大盘收入报表

2019-12-03

从零到精通AI全栈学习路线

AI 全栈=算法基础 + 模型能力 + 工程落地。按四阶段推进，每阶段都有可运行的产出，避免“学了用不上”。

2026-10-17

ArtCraft 全系如意玲珑版上架商店！

几个参考数据：整套 13款全装上大约 1.几个GB，其中最小的音频工具 SoundCraft 只有 37MB。作为对比，一个 Photoshop 安装包是 6.4GB。

2026-10-15

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。