搜索[推理强度]结果-低调大师优秀个人博客

精选列表

搜索[推理强度]，共7380篇文章

LayerSkip: 使用自推测解码加速大模型推理

自推测解码对于实际应用特别高效，它可以在较小的 GPU 上部署，并降低大规模推理所需的整体硬件资源。

2025-03-10

JuiceFS 在多云架构中加速大模型推理

在大模型的开发与应用中，数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。

2024-08-23

KubeAI大模型推理加速实践｜得物技术

一、背景最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。

2024-05-21

每日一博 | 语言大模型的推理技巧

本文探讨了一系列语言大模型的推理优化技巧，涵盖KV缓存、量化和稀疏性等方法，并分享了如何有效实施这些技术。对于想要优化Transformer模型，以期提升推理速度或效率的人来说值得一读。

2023-12-12

使用 PAI-Blade 优化 Stable Diffusion 推理流程

然而，随着应用场景不断扩大，Stable Diffusion所面临的推理时延和计算成本问题也越来越突出。

2023-05-23

Adlik —— 加速深度学习推理的工具包

Adlik 的目标是在云和嵌入式环境中加速深度学习推理过程。使用 Adlik 框架，不同的深度学习模型可以以非常灵活和简单的方式以高性能部署到不同的平台。

2022-02-22

PyStan —— 贝叶斯推理的软件包

PyStan 为 Stan 提供了一个 Python 接口，这是一个使用 No-U-Turn 采样器进行贝叶斯推理的软件包，这是Hamiltonian Monte Carlo 的一种变体。

2021-10-11

阿里开源深度神经网络推理引擎 MNN

近日，阿里正式开源了轻量级深度学习端侧推理引擎 “MNN”。 MNN 是一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理。

2019-05-08

论文解读 | 基于神经网络的知识推理

论文动机使用神经网络进行更为复杂的推理以增加 KB 中的条目正在引起广泛关注，这么做的一个重要原因是为了同时支持 look-up 类型的问答系统以及从 entity 和 relation 中间接推理到答案的问答系统

2018-03-07

【小功能2】android获取手机信息（号码，内存，CPU，分辨率，MAC，IP，SD卡，IMEI,经纬度，信号强度等等）

info.setConnected(false); returnfalse; }else{ //info.setConnected(true); returntrue; } } //获取信号强度

2017-11-14

没有记忆，AI推理落不了地|爱分析访谈

一段看似普通的售后对话，最能暴露AI应用的短板。用户只说了一句“手机闪屏了”，系统往往还要从头追问型号、订单、设备、账号，再把这些零散信息拼起来回答问题。

2026-09-23

本体推理查询语言SPARQL 从入门到精通

本教程面向零基础学习者，从 SELECT 到 CONSTRUCT，从 FILTER 到 Property Path，覆盖 SPARQL 所有核心功能。所有示例都可以直接在 Fuseki Web UI 中运行。

2026-09-09

Agent 规划与推理：让 AI 学会「想清楚再做」

前面章节我们完成了单智能体的全套能力建设：LLM推理、Prompt工程、长短记忆、规划反思、工具调用。

2026-08-29

本文以通义千问Qwen量化GGUF模型为案例，基于Llama.cpp框架展示本地大模型调用与功能开发的完整实现原理及流程。全文采用原生Python编写代码案例，无需依赖重型AI框架，依次实现模型元数据解析、本地接口单次对话调用、多轮对话持久化记忆、自定义工具调用拓展等功能实现逻辑，针对直接调用大模型上下文断裂、功能单一、拓展性不足等问题，通过轻量化对话记忆与工具解析执行框架完成优化实现，拆解本地对话交互运行原理，帮助开发者掌握大模型的基础调用原理。

2026-08-26

24-CheckpointEngine训练权重如何同步给推理引擎

如果这一步慢、错、或者和推理状态冲突，下一轮样本就可能用旧策略生成，RL step 的训练和推理会脱节。

2026-07-23

贝叶斯网络的分解:局部和并行推理

Decomposition for Bayesian Networks: Local andParallel Inference

2026-07-20

DeepSeek 正在自研面向推理场景的 AI 芯片

这是一款推理芯片，而非训练芯片。用途明确——在模型完成训练后，用于高效运行模型并生成用户响应。

2026-07-08

AMD 完成收购 MK1，加速 AI 推理布局

AMD于2025年11月11日宣布完成对AI推理创企MK1的收购，这一举措旨在加速其在AI推理领域的战略布局。

2025-11-11

美团开源推理大模型 LongCat-Flash-Thinking

美团发布了一款基于混合专家架构的大型推理模型LongCat-Flash-Thinking，总参数量达5600亿，根据上下文需求动态激活186亿至313亿参数，平均激活约270亿参数。

2025-09-22

AI 生成优化 Metal 内核，PyTorch 推理速度提升 87%

根据 Gimlet Labs 的最新研究，AI 能够自动生成优化的 Metal 内核，使得 PyTorch 推理速度提升了87%。

2025-09-05

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。