搜索[本地推理]结果-低调大师优秀个人博客

精选列表

搜索[本地推理]，共10000篇文章

Android本地化全局对象的实践(2)——SharePreferences

上一篇讲到了使用File的方式来本地化全局对象，它适合体量较大的全局对象。对于一些体量较小的全局，并且对安全性有要求的对象，可以使用SharePreference来进行对像的本地化。

2016-10-26

Windows快速使用http-server搭建本地web服务访问，及html在本地打开和用服务器打开的区别

在开发和测试中，经常会需要搭建个本地web服务浏览静态html。如静态文件中存在一些http、https或访问文件类请求，直接打开html文件会报错预览不成功。

2026-09-17

无限画布视频节点式工作流，多模型串联推理延迟优化

一条 AI 视频不是"一个模型"生成的，是多个模型接力跑的：大模型拆剧本、文生图出画面、图生视频做动效、增强模型修细节、合成模块出成片。多模型串联，延迟就藏在这条链里：一个环节卡住，整条线等它；一个结果重复算，整个流程白跑。节点式工作流的价值，就是把这个"看不见的等待"变成可调度、可缓存、可并行的工程问题。本文讲清楚延迟从哪来、怎么压，以及无限画布场景下的落地做法。

2026-09-23

2026 “AI 推理”硬件革命已到来，显卡却有大半时间在闲着

黄仁勋在 GTC 2026 上把这一年叫做"推理的拐点"。IEEE Spectrum 这篇特稿想说明的一件事是：推理其实和你想象的不一样，它正在逼着整个硬件行业换打法。

2026-09-16

# 小模型量化反常识：为什么 4-bit 推理可能更费电？

把权重从 FP16 压到 NF4 或 INT8，显存降了，推理能跑了，皆大欢喜。显存的故事确实如此——但能耗的故事不是。

2026-09-09

LLM 大语言模型技术内幕：从架构演进到推理极致优化

然而，当模型参数量突破万亿，显存带宽与计算成本的鸿沟日益凸显——推理延迟和显存占用取代模型精度，成为工业界落地的头号难题。

2026-08-25

大模型推理成本优化实战：vLLM 与 KV Cache 调优指南

大模型真正进入生产环境以后，最容易被低估的问题往往不是“模型能不能跑起来”，而是“每生成一个 Token 到底要花多少钱”。

2026-08-17

大模型推理加速实战：vLLM/TGI、连续批处理、PagedAttention 与张量并行

大模型的能力毋庸置疑，但真正落地到生产环境时，瓶颈往往不在模型效果，而在推理性能。一个 7B 参数模型在消费级 GPU 上也许能跑通 Demo，但要支撑真实的线上流量，延迟、吞吐、成本三者缺一不可：

2026-08-14

Kubernetes推理网关智能路由：按队列深度分配大模型请求实战

大模型推理请求的时延和资源消耗极度离散，同一批请求可能在几十毫秒到几十秒之间随机分布。这种负载下，轮询或最小连接数这类静态路由很快就暴露出调度盲区——部分推理 Pod 排队积压，另一些却近乎空转。

2026-07-27

开源多模态视觉模型图像地理推理驱动定向社会工程攻击研究

KnowBe4 披露的新型网络威胁，本文系统研究开源视觉语言模型（VLM）基于社交平台公开旅游照片实现无元数据地理定位的技术机理，解构 Gemma3 27B、Qwen3 VL 30B 两类免费开源模型地理推理能力与定向社会工程攻击完整闭环

2026-07-16

🔥 SolonCode v2026.7.13 发布：多工作区协同、推理强度、任务分组

v2026.7.9 挂载文件监听、对话分叉（复制） v2026.7.11 MCP JSON 导入、文件详情 MD/全屏、流式消息分组、技能搜索 v2026.7.12 模型选择器推理水平

2026-07-13

Kog AI 发布推理引擎：标准 GPU 实现 3000 tokens/s 单请求速度

为什么单请求速度突然重要了传统推理基准测试通常关注聚合吞吐量和首 token 延迟，但这两个指标都不能准确反映 AI Agent 的实际需求。

2026-06-01

Redis 之父发布 DeepSeek V4 Flash 专用推理引擎 ds4

Redis 创始人 Salvatore Sanfilippo（antirez）近日正式发布 ds4—— 一个专为 DeepSeek V4 Flash 量身打造的本地推理引擎。

2026-05-08

林俊旸最新文章：从“推理式思考”到“智能体式思考”

但2025年上半年主要关注的是推理思维：如何让模型花费更多的推理时间计算，如何用更强的奖励来训练它们，如何展示或控制额外的推理努力。现在的问题是接下来会发生什么。

2026-03-27

北京科研团队取得通用人工智能逻辑推理新突破

相关专家表示，这是国际首个同时具备自主出题（Proposing）和自动解题（Solving）双重能力的通用人工智能系统，标志着中国科研团队在自动化推理的逻辑核心领域实现关键技术自研，并在性能与功能多样性上达到国际领先水平

2026-01-27

阿里通义发布最新旗舰推理模型 Qwen3-Max-Thinking

阿里通义正式推出最新旗舰推理模型Qwen3-Max-Thinking。

2026-01-27

推理加速新选择！Xinference 1.16.0 支持瀚博 GPU 与持续批处理

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。

2025-12-30

Gemini 3 推出 Deep Think 模式：面向 Ultra 订阅用户的深度推理升级

Google表示，这一模式依托“高级并行推理”能力，可以同时探索多种假设路径，从而在复杂问题求解中大幅提升准确率和稳健性。

2025-12-08

Meta 发布 CoT 验证模型：基于 Llama 3.1 的白盒推理纠错工具

在当前的人工智能研究中，思维链（CoT）验证方法主要依赖于模型输出的黑盒方式，或是通过激活信号的灰盒分析来预测推理的正确性。这些方法虽然具有一定的实用性，但对于推理失败的根本原因却缺乏深入的了解。

2025-11-28

OpenAI 发布 GPT-5.1：引入“自适应推理”机制、支持更多对话风格

新增“自适应推理”机制，能根据问题复杂度动态调整思考时间，简单问题快速回答，复杂问题深度思考。语气更亲切，指令遵循能力显著提升。

2025-11-13

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。