搜索[推理强度]结果-低调大师优秀个人博客

精选列表

搜索[推理强度]，共7403篇文章

【AI应用开发全流程】使用AscendCL开发板完成模型推理

并打通一个Ascend910训练到Ascend310推理的全流程思路。在本篇章，我们继续进入推理阶段！推理阶段 B.

2024-06-05

一文读懂多家厂商的大模型训练、推理、部署策略

rpc 给到上一层的推理引擎，推理引擎是实际上发生计算的集群，这个层级则做了数据和算力解聚合。

2024-05-09

知识图谱的演进与基于 OpenSPG+TuGraph 的推理实践

作者介绍：王少飞，蚂蚁知识图谱推理开发工程师，作为核心开发者从0到1参与了推理引擎的建设，目前负责OpenSPG-Reasoner模块的开源和维护。

2024-04-11

知识图谱推理算法综述（下）：基于语义的匹配模型

，为建设知识图谱的图谱计算和推理能力理清思路，为希望了解或者工作中需要用到知识图谱推理算法的同学提供概述和引导。

2024-03-28

手把手带你用香橙派AIpro开发AI推理应用

本文分享自华为云社区《如何基于香橙派AIpro开发AI推理应用》，作者：昇腾CANN。

2024-03-27

使用推测解码 (Speculative Decoding) 使 Whisper 实现 2 倍的推理加速

尽管转录准确度非常优秀，但推理速度非常缓慢。

2024-01-10

云存储在AIOps、数字人以及训练推理场景的最佳实践

在以AIGC大模型为代表的技术新浪潮中，存储作为数据基础设施，将在数据采集、训练与推理、应用部署、内容审核与协同等多个关键环节发挥重要作用，助力 AI 创新加速。

2023-12-14

【CIKM 2023】扩散模型加速采样算法OLSS，大幅提升模型推理速度

与基于 GAN 的生成模型不同，扩散模型需要多次调用模型进行前向推理，经过多次迭代，才能得到清晰完整的图像。扩散模型在大幅度提升生成效果的同时，也因其迭代式的生成过程面临严重的计算效率问题。

2023-10-25

AI推理实践丨多路极致性能目标检测最佳实践设计解密

基础应用分解我们首先从一个基础的目标检测推理应用场景开始，推理流程通常包含如下几个部分： GPU AI推理业务流程数据输入是摄像头获取的视频数据流，一般以H.264格式为主。

2023-07-07

面向推理训练一体化的 MNN 工作台

作者：修玉同(音弦) MNN 工作台是阿里淘系端智能团队构建并对外免费开放的一站式端侧 AI 研发平台，它基于已开源的 MNN 深度学习端侧推理引擎（开源地址：https://github.com/alibaba

2022-02-08

用 WasmEdge 和 YoMo 对实时数据流进行 AI 推理

例如在 AR/VR、智能工厂里做实时 AI 推理的过程中，摄像头可以通过 YoMo 将实时的非结构化数据发送到近场 MEC （多访问边缘计算）设备中的计算节点，并自动执行托管的 AI 推理函数。

2021-07-08

开源公告｜微信云端深度学习推理框架 WeChat TFCC 开源啦！

WeChat TFCC 是微信技术架构部后台团队研发的服务端深度学习通用推理框架，也是腾讯深度学习与加速Oteam云帆的开源协同成果，具有高性能、易用、通用的特点，已在微信视频号、微信开放平台推荐系统、

2021-06-02

ncnn 发布 20210507 版本，int8 量化推理大幅优化超 500%

仰赖ncnn社区开发者的贡献，ncnn在2019年年初便已实现int8模型量化和推理。但因后来失去社区开发者的持续投入，ncnn的int8量化推理效率迟迟没有加速。

2021-05-09

快 2 倍，TFLite 推出基于 OpenCL 的 Android 移动 GPU 推理引擎

TensorFlow Lite（TFLite）现在支持在 Android 设备上使用 OpenCL 进行 GPU 推理，这一改进使得 TFLite 性能比使用现有 OpenGL 后端提高了约 2 倍。

2020-08-19

Paddle Lite v2.3 发布，模型压缩 75%，推理速度提升 20%

支持“无校准数据的训练后量化”方法模型压缩高达75% 在手机等终端设备上部署深度学习模型，通常要兼顾推理速度和存储空间。一方面要求推理速度越快越好，另一方面要求模型更加的轻量化。

2020-03-16

天猫精灵业务如何使用机器学习PAI进行模型推理优化

机器学习PAI是阿里巴巴AI开发平台，为AI开发者提供软硬一体的编程环境和高性能训练与推理引擎框架。天猫精灵业务 PAI 模型的优化主要通过 AutoAI 接入 PAI Bla

2019-10-15

DeepMind提出关系RNN：构建关系推理模块，强化学习利器

然而，目前还不清楚它们是否有能力利用它们记得的信息进行复杂的关系推理。在这篇论文中，DeepMind和伦敦大学学院的研究人员首先证实一种直觉想法，即标准的记忆架构在一些涉及关系推理的任务上很困难。

2018-06-07

无限画布视频节点式工作流，多模型串联推理延迟优化

一条 AI 视频不是"一个模型"生成的，是多个模型接力跑的：大模型拆剧本、文生图出画面、图生视频做动效、增强模型修细节、合成模块出成片。多模型串联，延迟就藏在这条链里：一个环节卡住，整条线等它；一个结果重复算，整个流程白跑。节点式工作流的价值，就是把这个"看不见的等待"变成可调度、可缓存、可并行的工程问题。本文讲清楚延迟从哪来、怎么压，以及无限画布场景下的落地做法。

2026-09-23

2026 “AI 推理”硬件革命已到来，显卡却有大半时间在闲着

黄仁勋在 GTC 2026 上把这一年叫做"推理的拐点"。IEEE Spectrum 这篇特稿想说明的一件事是：推理其实和你想象的不一样，它正在逼着整个硬件行业换打法。

2026-09-16

# 小模型量化反常识：为什么 4-bit 推理可能更费电？

把权重从 FP16 压到 NF4 或 INT8，显存降了，推理能跑了，皆大欢喜。显存的故事确实如此——但能耗的故事不是。

2026-09-09

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。