搜索[本地推理]结果-低调大师优秀个人博客

精选列表

搜索[本地推理]，共10000篇文章

复旦大学与美团联合发布 R-HORIZON，长链推理评测框架

复旦大学与美团LongCat联合推出 R-HORIZON——首个系统性评估与增强 LRMs 长链推理能力的评测框架与训练方法。

2025-10-29

Omni-Infer v0.4.2 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.4.2 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括：核心特性支持DeepSeek-v3.2-EXP with DSA Omni Proxy，高性能PD

2025-09-29

Omni-Infer v0.4.1 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.4.1 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括： v0.4.1 核心特性稳定性压测与优化支持模型列表模型硬件精度类型部署形态 DeepSeek-R1

2025-09-23

蚂蚁百灵大模型团队开源高性能推理 MoE 模型 Ring-mini-2.0

蚂蚁百灵大模型团队正式发布 Ring-mini-2.0，一款基于 Ling-mini-2.0 架构深度优化的高性能推理型 MoE 模型（Thinking model）。

2025-09-18

Omni-Infer v0.3.0 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.3.0 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括： v0.3.0 核心特性支持vllm 0.9.0 release 其他优化基于18P8-1D144

2025-08-15

Omni-Infer v0.2.0 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.2.0 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括： v0.2.0 核心特性支持vllm 0.8.3 release 其他优化基于18P8-1D144

2025-08-06

Omni-Infer v0.1.0 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.1.0 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括： v0.1.0 这是我们的第一个正式开源版本核心特性 PD分离 MTP 入图图缓存 omni-attention

2025-07-07

国产替代 + 大模型推理优化，AI 产业发展需要强大的基础设施

在人工智能迈向「智算融合」的新时代，大模型凭借其强大的认知与推理能力，正逐步重塑千行百业的智能化图景。然而，大模型推理环节的高算力消耗、高延迟与高能耗问题，成为其规模化落地的关键掣肘。

2025-05-13

推理 AI 模型基准测试成本激增：评估一个或需近 3000 美元

第三方 AI 测试机构 Artificial Analysis 数据显示，在七种流行的 AI 基准测试中评估 OpenAI 的 o1 推理模型需要花费 2,767.05 美元：MMLU-Pro、GPQA

2025-04-11

如何高效地为「推理模型」编写最佳提示词？万字长文介绍

02 O1/O3-mini 与 GPT-4o 的差异分析 2.1 输入结构与上下文处理内置推理 vs 提示词驱动推理：O1 系列模型内置思维链推理机制，能够自主进行多步骤分析，无需通过提示词引导其"逐步思考

2025-03-14

一键部署QwQ-32B推理模型，2种方式简单、快速体验

QwQ-32B推理模型正式发布并开源，凭借其卓越的性能和广泛的应用场景，迅速在全球范围内获得了极高的关注度。

2025-03-11

【Xinference v0.13.1 正式发布】一键部署 AI 模型，开启智能推理新纪元！

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。

2024-07-18

更快的训练和推理: 对比 Habana Gaudi®2 和英伟达 A100 80GB

通过本文，你将学习如何使用 Habana® Gaudi®2 加速模型训练和推理，以及如何使用 🤗 Optimum Habana 训练更大的模型。

2023-08-02

【ACL 2023】具有高效推理速度的中文领域文图生成扩散模型和工具链

同时，扩散模型的推理速度和计算成本也是需要考虑的重要因素，而迭代逆扩散去噪过程的繁琐计算一直是扩散模型推理速度的瓶颈。

2023-07-11

[EuroSys2023 Best Poster] 面向动态图的极低时延GNN推理采样服务

GraphLearn最新开源了面向动态图的GNN在线推理实时采样服务(DGS)。DGS具备处理实时高吞吐图更新的能力，并能保证低时延、高并发的推理采样查询处理。

2023-06-05

SOFARPC是近期蚂蚁金服开源的一个高可扩展性、高性能、生产级的 Java RPC 框架。在蚂蚁金服 SOFARPC 已经经历了十多年及五代版本的发展。SOFARPC 致力于简化应用之间的 RPC 调用，为应用提供方便透明、稳定高效的点对点远程服务调用方案。为了用户和开发者方便的进行功能扩展，SOFARPC 提供了丰富的模型抽象和可扩展接口，包括过滤器、路由、负载均衡等等。伴随SOFARPC的开源，我们也开源了sofa-bolt-node和sofa-rpc-node两个 Nodejs RPC 基础模块。但细心的用户可能注意了我们在文档里面写到并不希望大家直接使用它们，并预告会在 Eggjs 里提供 RPC 最佳实践。现在这个最佳实践来了，它就是： egg-sofa-rpc插件： https://github.com/

2018-06-20

DeepMind说机器推理水平能超人类，现在有人把代码搞出来了

前天，DeepMind发布两篇新论文，探讨了深度神经网络利用非结构化数据进行复杂关系推理的能力。（报道传送门）在第一篇论文，DeepMind证明神经网络在简单关系推理中，表现超过人类。

2018-01-01

这篇文章会告诉你DeepMind关系推理网络的真实面貌

比如关于该关系推理网络的报道： DeepMind开发了一种神经网络，能够感知其周围的物体。实际上这种报导不仅仅是误导性的，而且使得很多不明真相的吃瓜群众感到恐慌：AI真的已经强到如此地步了吗？

2017-10-23

ChatGPT月活10.9亿：本地场馆的客户都在AI里做决定

这篇用本地场馆视角拆开：10.9亿意味着什么、GEO优化和GEM优化为啥要一起上、场馆现在怎么起步。

2026-10-19

Jync v1.7.5 AI 配置接入本地模型（Ollama 预设 + 深度思考档位）

本次更新新功能 AI 配置接入本地模型：协议新增 Ollama（本地）预设，选中即填入 http://localhost:11434/v1 并收起密钥栏（本地模型不需要密钥），超时放宽到 300 秒

2026-10-16

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。