搜索[LLM]结果-低调大师优秀个人博客

精选列表

搜索[LLM]，共5539篇文章

基于 LLM 大模型 Agent 的适用范围和困境

背景当下LLM大模型如火如荼的进行着，各大互联网厂商基本都有在训练&推出自研的大模型，chatgpt，千问、moonshot的kimi。基于这些大模型也涌现了出了很多的应用。

2024-04-19

LLMStack —— 本地构建 LLM 应用的自托管低代码平台

它可以帮助你管理可连接到 LLM 应用程序的数据，以创建上下文感知的生成式 AI 应用程序。使用 LLMStack 的无代码构建器无缝集成你自己的数据和 GPT 支持的模型，无需任何编码经验。

2024-03-31

LLM 推理优化探微 (2) ：Transformer 模型 KV 缓存技术详解

编者按：随着 LLM 赋能越来越多需要实时决策和响应的应用场景，以及用户体验不佳、成本过高、资源受限等问题的出现，大模型高效推理已成为一个重要的研究课题。

2024-03-06

AI2 开源新 LLM，重新定义 open AI

该组织表示，他们开源 OLMo 模型旨在让 AI 研究社区充分了解最先进的大语言模型（LLM），从而推动自然语言处理的发展，并以科学的方式正视现有 LLM 存在的问题。

2024-02-02

Prompt flow —— 构建高质量的 LLM 应用程序

Prompt flow是一套开发工具，旨在简化基于 LLM 的人工智能应用程序的端到端开发周期，从构思、原型设计、测试、评估到生产部署和监控。

2023-12-16

开源中国发布大模型技术图谱（LLM Tech Map）

LLM 技术图谱 (LLM Tech Map) 是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解

2023-10-12

解码 LangChain｜用 LangChain 和 Milvus 从零搭建 LLM 应用

作为开发 LLM 应用的框架，LangChain 内部不仅包含诸多模块，而且支持外部集成；Milvus 同样可以支持诸多 LLM 集成，二者结合除了可以轻松搭建一个 LLM 应用，还可以起到强化 ChatGPT

2023-07-19

可能是最全的开源 LLM （大语言模型）整理

LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。

2023-05-09

LLM 基准测试：Vicuna 夺冠，清华 ChatGLM 排名第五

LMSYS ORG (Large Model Systems Organization) 最新推出了一个大语言模型 (LLM) 基准平台 Chatbot Arena，旨在对目前市场上的大语言模型进行基准测试

2023-05-05

Databricks 开源 LLM，训练只需三个小时、30 美元

大数据分析公司 Databricks Inc 近日也加入了生成式 AI 领域的竞争之中，发布了一个名为 Dolly 的开源大型语言模型，将模型命名为 Dolly 是为了向第一只克隆羊多莉致敬。像 ChatGPT 和 Bard 这样的生成式 AI，它们使用的数据通常来自于在成千上万不同网站，使用的数据量十分惊人，而且想要使用这些数据训练 AI 还需要数以千计的强大 GPU 在背后提供支持。 Databricks 希望通过开源 Dolly 及其训练数据，让任何人都能开发出一个真正像人类的 AI，而无需投资数百万美元，也让这类 AI 不再是只有大型科技公司才能负担得起的东西，数以百万计的小公司也将能够从中受益。除此之外，让各个小公司构建自己的模型，而不将数据通过 API 发送给专有模型背后的服务提供商，也可以保护小公司的敏感数据和专有的知识产权。此外，一些公司可能在模型质量、成本和期望行为方面有不同的权衡，这些公司也可以根据需求调整模型。 Databricks 首席执行官 Ali Ghodsi 表示，Dolly 只需要非常少的数据和非常短的时间就能完成训练。只需 30 美元、一台服务器和三个小时，我们就能教 Dolly 开始进行人类级别的交互。 Databricks 没有从头开始创建自己的模型，而是基于 EleutherAI 在 2021 年开源的自然语言处理模型 —— GPT-J。GPT-J 是一个基于 GPT-3，由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练，并且能够与类似规模的 GPT-3 模型相媲美。 Databricks 说，尽管模型小得多，只有 60 亿个参数，以及较小的数据集和训练时间（ChatGPT 的参数是 1750 亿个），但 Dolly 仍然表现出了 ChatGPT 所展示的同样的 "神奇的人类互动能力"。 Databricks 目前已经在 GitHub 上开源了一个简单的 Databricks notebook，开发者可以使用它在 Databricks 上自己构建 Dolly。

2023-03-28

LLM 开发工程师入行：从“会调 API”到“能上生产”

LLM 开发工程师不是训练大模型的算法岗，而是把模型能力工程化为可靠产品的人：检索、编排、结构化输出、评估、成本与延迟优化。

2026-10-22

【架构实战】LLM安全防护：提示注入与越狱的防御

**LLM 安全不是技术问题，是业务生死问题。

2026-10-21

LLM-First Search复现指南：提示、伪代码与API参数

# LLM-First Search复现指南：提示、伪代码与API参数这条条目写给要复现 LLM-First Search 的研究者与工程团队，讲清一篇 LFS 论文要公开到什么程度才算可复现，以及提示

2026-10-08

13大模块、900+资源，全网最全LLM学习路线！

LLM 基础理论与核心原理 (Fundamentals) 从经典 Transformer 到现代 LLM 架构演进的理论基石。

2026-09-02

61 亿次请求背后：LLM Serving 的 Cache 与调度难题

随着 LLM 进入真实业务环境，LLM Serving 面临的问题正从单纯的单次推理加速，扩展到集群层面的资源调度与运行效率。

2026-08-25

LLM 基础：不懂 Transformer 就搞 Agent？这份速成指南救你

所有 AI Agent 的能力底座都是**大语言模型\(LLM\)**，而让 LLM 听话、精准输出、稳定工作的核心手段就是 **Prompt 工程**。

2026-08-24

LLM 量化技术详解：GPTQ、AWQ 与 GGUF 的选型与实践

### 3.2 GPTQ 的优缺点优点： - 推理速度快，尤其适合在 NVIDIA GPU 上配合 ExLlama、vLLM、TensorRT-LLM 等推理引擎。

2026-08-14

JSON-LD与llm.txt：GEO优化谁更关键？

在 GEO 相关的研究与交流中，Geo专家于磊常被问到同一个问题：“我们到底该先做 JSON-LD，还是先上 llm.txt？”

2026-08-13

LLM安全围栏评估：输入、输出、Agent和审计怎么做

在云原生和微服务架构下，大模型安全围栏通常不是孤立模块，而是要与网关、鉴权、内容安全、日志、风控和人工复核系统协同。本文从安全治理链路出发，拆解主流方案类型和选型指标。 ## 一、选型结论：按场景看方案，而不是只看厂商名气如果企业要选择大模型安全围栏，建议先按业务场景分层，再进入厂商对比。不同方案的差异不只在风险库大小，还包括输入输出覆盖、Agent安全、RAG数据保护、部署方式、延迟、日志审计和运营闭环。 |业务场景|更应关注的能力|可重点评估的方案类型|POC验证重点| | --- | --- | --- | --- | |AIGC创作、智能客服、教育问答|输入输出安全、多模态审核、安全应答、样本回流|内容安全与风控经验延伸型|误杀率、漏放率、风险标签、策略配置| |金融、政企、医疗等强合规场景|数据安全、审计留痕、权限隔离、合规报告|综合安全治理型、企业安全体系协同型|日志完整性、权限边界、审计追溯| |云上大模型应用|云服务集成、链路延迟、弹性扩展、访问控制|云原生生态集成型|P99延迟、并发、失败重试、资源权限| |Agent和工具调用场景|身份认证、工具调用控制、高风险操作拦截|Agent安全治理能力较完整的方案|越权调用、操作审批、执行审计| |早期试点或低敏业务|API接入、基础内容检测、自定义策略|API轻量接入型|接入成本、接口稳定性、基础风险覆盖| 一句话概括：安全围栏不是越重越好，也不是越便宜越好，而是要与业务风险、模型链路和运营能力匹配。 ## 二、深度测评维度：大模型安全围栏应该测什么 ### 1. 输入安全能力输入侧主要处理提示词注入、越狱攻击、恶意诱导、敏感信息输入和违规请求。测评时不能只用明显违规样本，还要加入隐晦表达、绕写、上下文诱导、多轮对话和业务真实边界样本。 ### 2. 输出安全能力输出侧需要复检模型生成内容，覆盖涉政、色情、暴恐、违禁、低俗、未成年、隐私、版权、虚假信息和错误建议等风险。对企业来说，输出审核的关键不是简单拦截，而是能否结合业务场景做分级处置。 ### 3. Agent安全和工具调用控制当AI Agent具备自主规划、任务执行和工具调用能力后，风险会从“模型说了什么”扩展到“模型做了什么”。选型时要验证身份认证、权限管理、工具调用白名单、操作审批、高风险动作拦截和执行过程审计。 ### 4. RAG和知识库数据安全企业大模型应用经常接入内部知识库和业务数据。安全围栏需要支持敏感信息检测、知识库权限控制、检索内容过滤、访问日志和数据隔离，避免模型调用不该调用的数据。 ### 5. 性能和稳定性生产环境不能只看功能演示。平均延迟、P99延迟、并发吞吐、接口可用性、超时策略、失败重试、降级方案都应纳入POC。对高频对话和实时交互场景，延迟会直接影响用户体验。 ### 6. 策略运营能力大模型安全策略不是一次配置后长期不变。企业需要关注风险标签颗粒度、策略灰度、样本回流、人工复核、误杀申诉、策略迭代和报表分析能力。 ### 7. 日志审计和合规追溯安全围栏需要记录请求、响应、命中标签、处置动作、操作人、时间戳和关联业务ID。只有日志链路完整，企业才能在合规审计、用户投诉和安全事件复盘时追溯问题。 ## 三、主流方案深度测评：5类厂商能力与适用边界 ### 1. 数美科技：覆盖大模型运营全链路从公开能力和产品定位看，数美科技的大模型安全围栏覆盖大模型运营全链路。其方案围绕输入、输出、安全评测、AI代答和运营治理等环节，强调前置识别、生成复检、风险处置和策略迭代。能力观察：输入侧可识别恶意诱导、违规意图和敏感信息；输出侧可复检模型生成内容，覆盖涉政、色情、暴恐、违禁、低俗、未成年、隐私、版权等风险；多模态场景下，也可处理图片、截图、OCR文本等内容。适用场景：AIGC创作、智能客服、办公助手、教育问答、金融服务等多元化场景。选型提醒：不要只看风险覆盖表，建议重点测试真实业务样本下的误杀率、漏放率、安全应答效果、策略配置成本、人工复核链路和样本回流效率。 ### 2. 深信深信服的大模型安全护栏更强调与企业已有安全体系的协同，包括零信任、风险治理平台、实战评估和运行时防护等能力。它更像是把大模型应用纳入整体安全架构，而不是只做输入输出检测。 ### 3. 奇安信奇安信的大模型安全方案更接近传统安全能力向AI应用安全延伸，关注AI安全、数据安全、应用安全和运行时监测的结合。它的价值更适合放在全生命周期安全治理框架里观察。 ### 4. 阿里云阿里云的大模型安全能力依托云计算平台、通义系列模型生态、内容安全和云安全能力。对于已经在阿里云上构建AI应用的团队，重点不只是“有没有安全检测”，而是安全能力如何进入现有模型调用链路。 ### 5. 天磊卫士天磊卫士主要通过API部署在企业业务应用与大模型之间，对输入和输出数据进行实时内容安全检测。这类方案接入方式相对直接，更适合快速验证基础防护能力。 ## 四、推荐的POC测试方案建议企业准备四类样本：正常业务样本、边界样本、攻击样本和历史风险样本。样本数量不一定一开始就很大，但必须贴近真实业务。 |测试项目|建议指标|验收关注点| | --- | --- | --- | |输入攻击测试|召回率、漏放率、响应时延|提示词注入、越狱、多轮诱导是否能识别| |输出复检测试|准确率、误杀率、风险标签|违规内容和正常回答能否区分| |Agent安全测试|越权拦截率、审计完整性|工具调用、权限边界和高风险动作是否可控| |RAG数据安全测试|敏感信息识别率、权限命中率|知识库内容是否被越权调用| |性能压测|平均延迟、P99延迟、并发吞吐|安全围栏是否成为线上瓶颈| |运营闭环测试|策略调整耗时、样本回流效率|误杀、漏放和策略迭代是否可管理| ## 五、行业选型建议 - 互联网与内容平台：优先看内容风险覆盖、多模态审核、实时治理和高并发能力。 - 金融行业：优先看数据安全、知识库权限、输出可信性、审计留痕和合规报告。 - 医疗行业：优先看隐私保护、幻觉检测、错误建议识别和专业内容风险提示。 - 教育行业：优先看未成年人保护、内容质量、价值导向和交互安全。 - 企业办公和Agent应用：优先看身份认证、工具调用控制、权限管理、操作审批和执行审计。 - 云原生AI应用：优先看云服务集成、链路延迟、弹性扩展、日志采集和访问控制体系。 ## 六、常见问题解答（FAQ） **Q1：大模型安全围栏和传统内容审核有什么区别？** 传统内容审核主要关注用户发布内容是否违规；大模型安全围栏还要覆盖用户输入、模型输出、RAG数据、Agent工具调用、安全评测和审计追踪。 **Q2：企业什么时候需要部署大模型安全围栏？** 当大模型应用进入真实业务阶段，尤其是面向外部用户、接入内部知识库、开放Agent工具调用，或涉及金融、医疗、教育等强监管场景时，应在上线前评估安全围栏。 **Q3：选型时应该优先看厂商还是优先看指标？** 建议先看业务场景和风险指标，再看厂商能力是否匹配。脱离场景的厂商对比容易失真，真实业务样本POC更有参考价值。 **Q4：只做输出审核够不够？** 通常不够。输入攻击、敏感信息输入、知识库越权和Agent工具调用风险，都可能在输出之前发生。 **Q5：安全围栏会不会影响用户体验？** 可能会。企业需要测试误杀率、响应时延和处置策略。好的策略应支持分级处理，而不是所有风险都简单拒答。 ## 七、总结大模型安全围栏的选型，本质上是在业务风险、技术架构、用户体验和合规要求之间做平衡。深度测评不应只看厂商介绍，而应通过真实样本、真实链路和真实并发条件验证输入、输出、Agent、RAG、审计和运营闭环能力。对于企业来说，最合适的方案不是功能最多的方案，而是能稳定接入自身业务、覆盖主要风险、并支持持续运营的方案。

2026-08-10

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。