搜索[LLM]结果-低调大师优秀个人博客

精选列表

搜索[LLM]，共5767篇文章

Prompt Flow工作流解析：基于Prompt Flow告别零散Prompt，标准化开发LLM应用24.5

核心特点可分为三点： - **低代码流程编排**：无需大量重复业务代码，通过节点拖拽、配置关联即可完成大模型任务流程搭建，降低LLM应用开发门槛。

2026-10-05

三段式架构的威力：DeepSeek Harness 如何让文件系统、Shell、LLM 全部可替换

### Seam 3：LLM（ctx.llm） | 角色 | 包 | 说明 | |---|---|---| | Service Definition | dsh-llm | 消息词汇表、适配器接口、ContentBlock

2026-09-21

一套代码接入五家大模型：Silicon-AI 多 LLM 抽象层的技术亮点拆解

""" common: dict[str, Any] = { "model": llm.model, "base_url": llm.base_url, "api_key": llm.api_key,

2026-09-11

【AI+量化实战 #05】财报季的信息洪流：用LLM给业绩预告分类+算事件窗口收益

LLM 负责理解文本里的"弦外之音"，规则负责兜底和规模化。 ## 本文你将得到什么 1.

2026-09-10

AI技术坟场笔记——Palantir: 美国中情局背后一家不依赖LLM的智能公司

LLM在这一步完全没有出场。** **那LLM在Palantir的系统里到底做什么？

2026-09-08

11.7 万 Star awesome-llm-apps 把 Agent/RAG/MCP 模板摆成夜市

项目地址是 [Shubhamsaboo/awesome-llm-apps](https://github.com/Shubhamsaboo/awesome-llm-apps)。

2026-08-31

基于 LLM 的内容竞品分析方法：从 6 篇小红书笔记的量化拆解到可复用框架

本文给出一个可复用的方法：用一套固定的多维度评估体系，配合大语言模型（LLM）做结构化拆解，把主观的"好"变成可量化、可横向对比的分数。整套思路与具体代码均可直接复用，不依赖任何特定产品。

2026-07-19

零基础认识大语言模型（LLM）工作原理(14.Skill：为什么 Agent 可以拥有专业技能？)

LLM 拥有大量知识。但是, 如何完成 Java Code Review？如何分析数据库性能？如何完成需求拆解？这些并不是模型天然就会的。它们需要被组织起来。

2026-07-17

告别“评测集过拟合”：2026 AI 质量新基建，用 LLM-as-a-Judge 构建生产级自适应评估体系

**LLM-as-a-Judge（大模型作为裁判）** 已从实验性技术演变为企业级 AI 应用的质量基石。

2026-07-11

GPU 网络通信基础，Part 3（LLM 训练过程的网络通信；InfiniBand 真的是“封闭”技术吗？）

文章从 LLM 训练的梯度下降过程切入，生动阐释了为何在包含数万 GPU 的集群中，哪怕一个 GPU 延迟 20 微秒，都会造成算力的巨大浪费。

2025-10-11

当LLM重构操作系统生态：下一代智能基础设施的技术革命来了！

当 LLM 开始解析 rpm 构建脚本生成兼容性补丁，当 DeepSeek R1模型实时生成内核级运维指令——操作系统开发正经历智能化重构。

2025-05-19

抖音小店 RPA 踩坑实录：页面改版流程集体失效，我用 LLM 视觉元素自愈架构救回全部流程

** 这篇文章完整记录我们从"人肉修流程"进化到"LLM 视觉元素自愈架构"的全过程，包括架构设计、关键实现和踩坑经验。

2026-10-27

ASP.NET Core 推 LLM token 流实测：每帧 flush 只花 0.14 微秒，200 并发却只快 7.7 倍

用 ASP.NET Core 给大模型做 token 流式输出，最常见的三个焦虑是：**每次 flush 是不是很贵、能不能扛几百个并发连接、慢客户端会不会把内存吃穿**。这三个都在本机实测了一遍，结论和直觉都不太一样。 ## 结论 - **每帧 flush 一点都不贵**：24 字节的 SSE 帧逐帧 flush，单连接 **0.141~0.151 µs/帧**（660~710 万帧/秒），改成 100 帧 flush 一次只快 **1.5~1.7 倍**。一次 2000 token 的回答，服务端推流总成本约 **0.2 毫秒**。 - **并发不线性**：200 条并发连接的总吞吐只到单连接的 **7.7 倍**（4100~5650 万帧/秒），单连接 p50 延迟从 0.3~0.4 ms 涨到 **5.4~7.6 ms**（约 18 倍）。 - **`Results.Stream` 零成本**，和手写 `Response.Body` 完全等价；`IAsyncEnumerable` 每帧快 40%，但它输出的是 JSON 数组，字节数多 44%，而且你控制不了帧格式。 - **慢客户端不吃内存**：读端每 1KB 停 1ms，服务端耗时从 27 ms 拉长到 **7.8 秒**，但 GC 堆恒定 15.5 MB、进程 RSS 恒定 116 MB、全程额外分配 0.3 MB。写操作被背压挡住了，不是排队缓冲。 - 真正该防的是**连接数**和**首字节时间**，不是 flush 频率。 ## 测试方法环境：.NET 10.0.5 / Apple M4（4P+6E）/ macOS 26.7.1 / Release / Kestrel，客户端与服务端同机走 127.0.0.1 回环。**这个前提很重要——回环没有网络 RTT，下面的绝对值只代表服务端推流成本，不要当成公网性能。** 被测帧是固定 24 字节的一帧 SSE： ```text data: {"i":0,"t":"tok"}\n\n ``` 服务端三个端点，分别是手写流、`Results.Stream` 包装、`IAsyncEnumerable`： ```csharp app.MapGet("/raw/{batch:int}/{n:int}", async (HttpContext ctx, int batch, int n) => { ctx.Response.ContentType = "text/event-stream"; var body = ctx.Response.Body; for (int i = 0; i ` | 0.057 / 0.059 µs | 7,200,001 | 两个结论： - `Results.Stream` 没有额外开销，和手写等价。它值得用，因为能统一返回类型、方便挂过滤器。 - `IAsyncEnumerable` 每帧快 40%，但那是**假快**：它吐的是 JSON 数组的流式序列化结果，字节数多 44%（引号和逗号），而且前端拿到的不是 `text/event-stream` 的 `data:` 帧。**只要有 SSE 协议要求，就别图省事直接 `yield return` 字符串。** ## 四、慢客户端：不炸内存，但把 27 ms 拖成 7.8 秒 20 万帧（约 4.8 MB 数据），逐帧 flush，快读 vs 每读 1KB 停 1ms 的慢读： | 客户端 | 墙钟 | 服务端额外分配 | GC 堆峰值 | 进程 RSS 峰值 | |---|---|---|---|---| | 快读 | 27~29 ms | 0.0 MB | 15.5 MB | 116 MB | | 慢读 | 7837~7846 ms | 0.2~0.3 MB | 15.5 MB | 116 MB | 耗时差 290 倍，**内存却一个字节没多**：GC 堆和 RSS 两轮完全一致。这是 Kestrel 响应管道的有界 `pause/resume` 机制在起作用——管道积压超过 pause 阈值，`WriteAsync` 就真的 `await` 住，直到读端消费到 resume 阈值以下。也就是说： - 慢客户端**不会**让服务端把 4.8 MB 积压塞进内存，写端直接被阻塞； - 但它会**长期占住一条连接和一个异步状态机**，这才是真风险。所以生产上的防线不在内存，在连接生命周期：`RequestAborted` 要真的传下去、给流式响应设总时长上限、客户端断开要能把上游推理一起取消。否则 200 个半死连接就能把你的实例连接数配额占满，而监控上内存一片平静。 ## 落到生产的三条 1. **别纠结 flush 频率**。逐帧 flush 每帧也就多 0.05 µs，体验优先就逐帧 flush。要省 CPU 就攒 5~20 帧，收益基本吃满，再往上攒没意义，只会让首字变慢。 2. **并发靠分片，不靠加连接**。单实例 200 连接时每用户 p50 已经 5 ms 以上；要更多用户，走多实例 + 前置分流。 3. **慢客户端按连接超时治理，不按内存治理**。背压已经帮你挡住了内存增长，你要补的是超时、取消和连接数上限。 ## 复现 ```bash mkdir SseLab && cd SseLab dotnet new web -f net10.0 # 把上面的三个端点和客户端压测代码写进 Program.cs dotnet build -c Release dotnet bin/Release/net10.0/SseLab.dll server # 一个终端 dotnet bin/Release/net10.0/SseLab.dll bench # 另一个终端 ``` 两个进程要分开跑，压测端在同一进程里会和服务端抢核，数字会整体偏移。测之前记得先预热（我这里是每个端点跑 3 次 1000 帧），否则测到的是 JIT 分层编译的过程，不是稳态。

2026-10-23

Karpathy：75%人口未接触LLM，约5000人可用的内部系统已让数千智能体协作数周

400080ddde1937c2bf6b9dee7312d1f2.jpg) Andrej Karpathy 在 10 月 11 日的推文中重提他 4 月发布的观察：约 75% 的人口几乎没有接触过大型语言模型（LLM

2026-10-12

量化的 LLM 不一定省电：我把结论拆成了六个可单独引用的工件

做 LLM 推理优化时，多数人默认"权重低比特量化 = 省电"。

2026-09-29

用 WorkBuddy 搭多后端 LLM 网关：5 个坑、一套降级链，从本地 Ollama 到云端全打通

本文记录我用 WorkBuddy 作为开发搭子，在 ai-arch-lab 项目里从零搭出一套多后端 LLM 网关的完整过程。包含架构设计、关键代码、以及 5 个真实踩过的坑。

2026-09-29

BSD 百家姓五法本体编码AI：治理 LLM 规训语言污染的最优底层算法论证

文档：BSD百家姓五法本体编码——治理LLM规训语言污染的最优底层算法论证一、核心定性：BSD 百家姓聚合解码体系属于根源型本体解毒算法，是当前解决大模型规训语言污染的最优路线之一 1 现有主流 LLM

2026-07-29

基于大语言模型（LLM）的自动化漏洞研究探秘

）进行安全研究** 人工智能（AI）和大语言模型（LLM）正在改变众多行业的运作方式，推动制造业、机器人、技术开发、软件工程以及所有其他关键基础设施领域的全新运营方法和效率提升。

2026-07-16

横扫 11 项榜单 SOTA：高性能、全尺寸、超高效的多语嵌入模型 F2LLM-v2 来了

今天，蚂蚁集团 CodeFuse 团队联合上海交通大学给出了答案：F2LLM-v2 系列正式发布！

2026-03-26

CodeFuse开源C2LLM，用“注意力池化”刷新MTEB-Code榜单

蚂蚁集团与上海交通大学继 F2LLM 后再度联手，重磅推出 C2LLM (Contrastive Code Large Language Models) 系列模型。

2026-01-13

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。