搜索[LLM推理]结果-低调大师优秀个人博客

精选列表

搜索[LLM推理]，共7391篇文章

地址标准化服务AI深度学习模型推理优化实践

模型推理性能优化方法论模型推理性能优化是AI服务部署时的重要环节之一。一方面，它可以提升模型推理的效率，充分释放硬件的性能。

2022-08-11

GTC 2022：GPU推理加速在OPPO NLP场景的优化落地

在小布助手预训练模型落地的场景中，我们探索了一系列GPU推理加速技术，使模型推理性能不断提升，同时也构建了一套高性能推理服务框架。

2022-04-04

如何打造一个高性能的前端智能推理引擎

什么是前端智能推理引擎在前端智能推理引擎之前，我们先来说一下什么是”端智能”。端智能（On-Device Machine Learning）是指把机器学习的应用放在端侧做。

2021-02-05

《计算机视觉：模型、学习和推理》一1.1 本书结构

第二部分涉及机器学习和推理，主要描述生成模型和判别模型。第三部分讨论图模型，主要是大的模型中变量之间概率依赖关系的可视化表示方式。第四部分介绍预处理方法。第五部分涉及几何与变换。第六部分提

2017-09-03

多 Provider LLM 集成指南：何时使用 Codelux CLI，何时需要 AI Gateway？

第一个 LLM API 接入通常并不复杂：保存一个 API Key，调用一个接口，再处理模型返回的文本。真正的摩擦往往出现在第二个、第三个 Provider 加入之后。

2026-09-19

Dify 部署教程：私有化 LLM 应用平台搭建与模型接入

摘要 Dify 是开源的大模型应用开发平台，提供可视化工作流编排、知识库检索、智能体框架和 API 发布能力，让「把模型变成可用的应用」这件事不必从零写代码。本文完成 Dify 社区版的私有化部署，包

2026-09-13

DataBuff v0.1.9 发布 · SkyWalking 8.x 接入 + LLM 凭据加固

这版主要补三块：老 SkyWalking 8.0–8.3 Agent 能直接打进来、配置里把 LLM 供应商管完整、以及 Agent Shell / 只读 SQL 摸不到 LLM 密钥表。

2026-09-08

Awesome LLM Apps：100+ 个手写的 AI Agent 应用样板库

Awesome LLM Apps 是一个开源的 AI 应用样板库——100+ 个 AI Agent、Agent Skill 和 RAG 应用，全部手工构建、端到端测试过、Apache-2.0 协议。

2026-08-31

Spring 之父的 Agent 框架 Embabel：把"规划"从 LLM 手里抢回来

如果你写 Java 写过十年以上，Rod Johnson 这个名字不需要介绍。2002 年那本 Expert One-on-One J2EE Design and Development 和他随后放出的 Spring，把整个企业级 Java 从 EJB 的泥潭里捞了出来。二十多年后，这位老哥又回来了，带着一个叫 Embabel 的 JVM 智能体框架。

2026-08-26

在Kubernetes、Service Mesh、Serverless共同编织的云原生时代，运维工程师正面临前所未有的复杂性。一个Pod重启可能触发50+条告警，一条网络抖动可能衍生出跨集群、跨AZ的连锁异常。传统基于规则（Rule-based）和简单机器学习（如孤立森林、ARIMA）的AIOps方案，在面对动态阈值、未知故障模式时，往往沦为“事后诸葛亮”——告警收敛了，根因依然需要人工在分布式链路追踪、日志、指标的三维数据迷宫中艰难探索。

2026-08-09

第 13 篇：验证循环 —— 规则验证、视觉反馈与 LLM-as-Judge

：面向有 3+ 年经验的后端开发者，从零构建 Agent Harness 工程能力体系上一篇回顾：[第 12 篇]我们拆解了安全防护体系——三层 Guardrails、Tripwire 机制、权限与推理分离原则

2026-08-07

从 LLM 评测到 AI Agent 评测，我的一些思考！

GPT、Claude、Gemini、GLM、DeepSeek、KIMI、Qwen……各家厂商每隔一两个月就发布新模型，声称在各项基准测试上「刷新纪录」。

2026-07-24

别先堆 Agent：LLM、RAG、Agent 的调用边界才是真问题

业务侧常问：「你们怎么把大模型接到业务里？」答「接了 API、做了知识库、挂了几个 Tool」。听起来热闹，一上线就露馅。

2026-07-23

LLM API选型避坑指南：我的实战经验总结

LLM API选型避坑指南：我的实战经验总结最近两年，我一直在给不同规模的企业做AI集成方案，发现很多人一上来就问“哪个LLM API最好用”。这是个真实问题，但答案其实很复杂。

2026-07-13

LLM API调用成本高？我来聊聊怎么省钱又不踩坑

LLM API调用成本高？我来聊聊怎么省钱又不踩坑如果你是一个正在做AI应用开发的工程师，或者是个刚入行的创业者，这篇文章就是为你写的。

2026-07-10

LLM 正在侵蚀我的软件工程师职业生涯

我带着最少的人工智能辅助完成了第一份文档——当时我甚至把LLM称为"随机鹦鹉"，这个观点我后来不再持有了。

2026-06-11

你对 LLM 的评估体系会失效，而你甚至不会察觉

刚从 Deepmind 离职的工程师 Lun Wang 发表关于大模型性能评估的文章：《你对 LLM 的评估体系会失效，而你甚至不会察觉》。

2026-05-18

Zig 项目全面禁止 LLM 辅助贡献：押注于人而非代码

这项政策明确禁止在所有 issue、Pull Request 及评论中使用 LLM 辅助生成内容，引发了开源社区对 "AI 与开源治理" 关系的广泛讨论。

2026-04-30

LLM 扩展方式的三年演进之路：复杂之后，回归简单

编者按：在当前 LLM 能力日益增强、扩展方式不断演进的背景下，我们是否正在走向一种“越复杂越强大”的技术路径？抑或，真正的突破恰恰源于回归简单与通用？

2025-12-24

SLS 脱敏函数实践：构建 LLM 应用数据输出的安全防线

作者：孙玉梅注：本文数据都为模拟生成。引言过去两年，电商客服、工单、物流等环节的自动化正急速推进。一个智能助手可以同时处理上百条退款请求、物流查询、账单追踪；它不知疲倦地与用户对话，也在后台不停调用接口、记录日志、汇总报表。在这些自动化交互中，隐藏着大量敏感数据：用户咨询里可能出现手机号、订单号、收货地址；后端业务日志中常常包含银行卡号、接口 IP、账户 ID；工单流转过程中甚至会附带内部 Token、用户名。这些信息若在系统内未经处理地流转、存储或导出，不仅违反数据最小化原则，更可能在调试、共享或导出日志时意外泄露。然而，现实场景中我们又无法简单地"少打日志"或"去掉字段"。日志是运维排障的工具，是运营分析的基础，也是安全审计的依据。本文将以一个电商 Copilot Demo 为例，展示如何借助阿里云日志服务（SLS）的脱敏函数，在不改变业务逻辑的前提下，确保系统中的敏感数据隐私安全。方案全景：智能化与数据安全的融合整体设计系统的上层编排由 Dify 平台完成，Dify 负责协调用户输入、意图识别、调用后端服务以及生成回复，是整个 Copilot 系统的中枢。但在实践中发现一个关键问题，Dify 自身的数据链路观测并不细粒度，主要体现在：平台主要提供节点级执行日志；但对下游 API 调用、异常堆栈、耗时分布的观测有限；出现故障时，Dify 内置日志往往不足以支撑排障与审计。因此，选择在 Dify 服务部署侧通过 LoongCollector 采集服务日志，通过 LoongCollector 将日志统一推送到 SLS LogStore。数据流：采集来源统一，同时采集 Dify 编排日志、后端服务日志、系统标准输出，并以固定的日志格式输出，完整的数据流转时序图如下：写入脱敏：通过写入处理器配置 SPL 脱敏（mask）函数，确保敏感字段在入库时已被打码。使用层：不管是运维、运营或者安全同学，都可以基于脱敏的 Logstore 数据做可以做相关业务分析。日志链路数据采集 LoongCollector [ 1] 作为一款轻量级日志采集工具，支持采集主机文本日志、Kubernetes 集群容器日志、HTTP 数据等不同的数据源，当前 Copilot Demo 日志以 JSON 格式打印在主机日志目录中，此处接入单行文本日志即可：配置日志所在的文件路径：写入脱敏 SLS 提供的 mask（脱敏）函数，支持内置和关键字匹配两种模式，能高效、精准地识别并脱敏日志中的敏感信息：内置匹配（buildin）： mask 函数开箱即用，内置了对常见 6 种敏感信息（如手机号、身份证、邮箱、IP 地址、座机电话、银行卡号）的识别能力。关键字匹配（keyword）：智能识别任意文本中符合 "key":"value"、'key':'value' 或 key=value 等常见 KV 对格式的敏感信息。针对文中电商 copilot 日志，在对应的 project 中新建数据处理器（配置下图 SPL 配置），即可智能识别并对 IP 地址、邮箱等敏感内容进行脱敏。其中手机号、身份证号、信用卡号、姓名以及地址信息，定制化地保留前后缀。详细配置介绍可参见《无需复杂正则：SLS 新脱敏函数让隐私保护更简单高效》。配置写入处理器使任务生效：选择待应用的 logstore，在写入处理器 tab 中应用上面新建的处理任务。脱敏前后日志对比对比脱敏前的数据可以看到：按需保留，安全与可用性兼顾：针对不同敏感字段，可定制化保留前后缀字符。手机号保留前三后四位，既保护了用户隐私，又方便运维人员进行问题排查和用户身份核验，在保障安全的同时兼顾了数据可用性。配置极简，无需正则：关键字匹配模式下，即使数据嵌套多层 JSON 结构，也只需配置最内层的 Key 即可精准匹配 Value 进行脱敏，同时无需编写复杂的正则表达式来兼容各种 key:value 对格式，大大降低了配置难度。中文精准脱敏：姓名与地址精确按照配置的规则进行打码，避免因编码问题导致脱敏失效。此外，mask 函数相较于使用正则表达式进行脱敏，在性能上具有显著优势，可有效降低日志处理延迟，提升整体性能。尤其是在复杂或者数据量巨大的场景下，性能优势更为明显。使用层日志分析数据脱敏让同一份日志呈现出三种"视角"：运维看到调用链与性能瓶颈，却看不到隐私；运营看到趋势、效率与体验，却看不到个体；安全看到策略执行与留痕证据，却无需担心遗漏。在这套体系中，数据不再是一座孤岛，而是一套有边界的智能资产，数据合规、分析、排障三者可以并行。运维工程师：定位对于运维团队来说，以往排障往往依赖包含用户手机号、地址、账户号的明文日志，这在合规上存在高风险。现在，脱敏后的日志让这一过程从源头安全化，在问题定位场景中通过 trace_id 检索即可复原整个调用链：从 Copilot 的意图识别开始；到订单服务 → 退款服务 → 第三方支付网关；再到返回结果与耗时。需要核对用户身份时，日志里只保留了脱敏后的银行卡号、手机号等信息，足以和业务侧"同一用户"比对，而不会暴露原值。即便是跨团队协查，也能直接在脱敏日志上定位问题，避免泄露风险。运营团队：分析报表的价值在于发现整体趋势，而非窥探个人信息。在脱敏运营报表中，用户信息已匿名化处理，仅保留关键业务指标，助力团队从数据中挖掘洞察。从这份报表中，运营团队可以快速了解：整体概况：UV、PV 等关键指标，Copilot 交互次数，以及咨询总量，快速掌握运营概况。咨询分类：退款、商品、物流咨询占比，清晰了解用户关注点。问题分类：掌握用户提问的侧重点，如功能、价格、规格等。重复咨询率：衡量服务质量，快速定位需要优化的环节。用户行为：咨询后购买转化漏斗，以及热门咨询关键词，助力优化产品和营销策略。重点用户：Top 10 咨询用户，虽然用户信息脱敏，但可通过 VIP 等级和咨询次数，制定差异化服务策略。此外，报表中所有用户信息都经过脱敏处理，电话号码、姓名等个人信息均被掩码，确保无法反推到具体用户，充分保障用户隐私。安全与合规团队：审计对安全与合规团队而言，日志的最大风险在于"存量明文"。本文中的脱敏方案将脱敏前置：数据在写入前已被处理，这从根本上消除了敏感数据脱敏覆盖不全与导出明文数据的可能。此外，SLS 还提供完善的合规支撑能力：数据存储：支持自定义日志存储时间，对网络审计相关日志设置>180 天的存储天数，满足安全审计要求。数据操作审计：日志使用过程中会存在用户级操作行为，这些不管是管控层面的控制台操作、OpenAPI 调用，或者数据面的业务日志使用，任何人查看、分析、导出日志，都只在授权范围内看到应当看到的内容。同时 CloudLens for SLS [ 2] 还提供 Project、Logstore 的资产使用监控。小结当 LoongCollector 的日志采集与 LogStore 的数据脱敏连成闭环，日志在落库同时完成安全转化。运维能定位，运营能分析，安全能审计。这不是一次性的加固，而是一条可复用的路径：写入侧脱敏 + 默认脱敏落库 + 角色化访问。以此为基线，企业能放心扩展 Copilot 的业务覆盖，让"效率红利"与"合规确定性"并行存在。相关链接： [1] LoongCollector https://help.aliyun.com/zh/sls/what-is-sls-loongcollector [2] CloudLens for SLS https://help.aliyun.com/zh/sls/cloudlens-for-sls/

2025-11-19

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。