实现 LLM 应用的可观测，难在哪里？-低调大师

实现 LLM 应用的可观测，难在哪里？

2024-07-11 251

随着生成式 AI 概念的火爆，以 ChatGPT、通义大模型为代表，市场上涌现了一系列商用或者开源的大模型，同时基于大语言模型（LLM ）以及 AI 生态技术栈构建的应用以及业务场景也越来越多。

众所周知，LLM 包含数十亿甚至万亿级别的参数，其架构复杂，训练和推理涉及大量计算资源。这些特性使得它们在实际应用中可能表现出意料之外的行为，同时也带来了性能、安全性和效率等方面的挑战。

LLM参数量不断增长

（图片来源：https://www.alidraft.com/2023/12/19/deploy-your-llm-model-on-cloud-efficent/）

那么，如何监控并保障大模型应用上线的性能以及用户体验？如何支持复杂拓扑场景下 LLM 应用领域的链路可视化分析以及问题根因定位？需要从成本以及效果等方面获得线上实际表现，辅助选择、分析、评估以及优化迭代大语言模型等。因此，针对 LLM 应用技术栈，构建行之有效的可观测能力解决方案就成为关键。

由于模型本身的复杂性、数据处理的规模以及应用的动态环境，实现 LLM 应用的可观测性面临着诸多难点，比如：

数据量与复杂度：
- LLM 在训练和推理过程中会产生大量的数据，这包括但不限于模型参数、中间输出、性能指标、系统日志等。处理如此规模的数据需要高效的数据管理和存储方案。
- 数据的复杂度还体现在多模态输入（文本、图像、音频等）和多阶段处理流程上，这增加了监控和分析的难度。
性能与实时性：
- 实现可观测性往往需要额外的计算资源和网络带宽，这对性能敏感的LLM应用是一个挑战。
- 实时监测和响应的能力要求可观测性系统能够即时捕获并分析关键指标，以便及时发现和解决问题。
安全与隐私：
- LLM应用通常涉及敏感数据的处理，如何在保护用户隐私的同时收集必要的可观测性数据是一个难点。
- 安全性要求确保可观测性数据不被未授权访问或滥用，同时也要防止数据泄露。
集成与兼容性：
- 技术栈的多样性意味着可观测性解决方案需要与不同平台、框架和工具兼容。
- 集成多个系统的可观测性数据，尤其是当涉及到云环境和本地部署的混合架构时，会变得更加复杂。
语义理解和模型解释：
- 对于LLM而言，理解模型内部的工作原理和决策过程是一个难点，这需要深度的语义分析和模型解释技术。
- 监控和报告不仅要涵盖技术指标，还要能反映模型的准确性和偏见。
动态调整与自适应：
- LLM应用的可观测性解决方案应该能够根据系统负载和资源可用性动态调整。
- 自适应机制对于应对不可预测的工作负载和性能瓶颈至关重要。
成本与效率：
- 实施全面的可观测性可能会带来较高的成本，特别是在数据存储和计算资源方面。
- 需要权衡可观测性的深度和广度与总体成本，寻找最优的平衡点。

解决这些难点通常需要采用先进的数据处理技术、高性能的计算架构、安全的通信协议、智能的分析算法以及灵活的资源配置策略。此外，持续的监控和迭代改进也是保持可观测性系统有效性的关键。

当然，这些问题和挑战，对阿里云技术专家蔡健来说，已经有了相应的解决方案。蔡健从事可观测产品 ARMS 与 EagleEye 的研发、设计与布道，具备丰富的可观测领域技术架构以及实践经验，成功推进 ARMS 应用性能监控和应用安全(RASP)融合解决方案落地，关注 APM 以及 OpenTelemetry 开源社区生态等最新动态。目前关注大语言模型领域可观测需求场景，探索支持 LLM 应用层到底层基础设施的全栈可观测能力解决方案以及最佳实践。

8 月 15 日至 16 日，GOTC 2024 大会将于上海张江科学会堂举行。在“LLMOps 最佳实践”论坛，蔡健将以《LLM 应用可观测解决方案探索与实践》为题发表演讲，深入探讨 LLM 应用可观测的关键关注点、高质量数据采集与上报方法，并详细介绍阿里云的LLM应用可观测解决方案，分享客户实践案例，展望未来 LLM 应用可观测的发展趋势与面临的挑战。

GOTC 2024 与上海浦东软件园联合举办，并结合 “GOTC（全球开源技术峰会）” 与 “GOGC（全球开源极客嘉年华）”，旨在打造一场全新的开源盛会。

全球开源技术峰会（Global Open-source Technology Conference，简称 GOTC）始于 2021 年，是面向全球开发者的开源技术盛会；2024 全球开源极客嘉年华（GOGC 2024）由浦东软件园携手 S 创共建，与开源中国、Linux 基金会等品牌联合呈现。

此次大会将集结全球范围内对开源技术充满热情的开发者、社区成员、创业者、企业领袖、媒体人，以及各开源项目应用场景的产业精英、跨界才俊与年轻力量。通过主题演讲、圆桌讨论、创新集市、人才集市、黑客松、技术展示和互动工作坊等形式，与会者将有机会交流实践经验、探索前沿技术，让我们一起激发创新活力、展示开源魅力、促进跨领域合作。

更多大会信息，访问官网查看：https://gotc.oschina.net

微信关注我们

原文链接：https://my.oschina.net/u/3859945/blog/11455383

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

搞大模型，没有重排工具怎么行？

在说重排工具之前，我们要先了解一下 RAG。检索增强生成（RAG）是一种新兴的 AI 技术栈，通过为大型语言模型（LLM）提供额外的“最新知识”来增强其能力。基本的 RAG 应用包括四个关键技术组成部分： Embedding 模型：用于将外部文档和用户查询转换成 Embedding 向量向量数据库：用于存储 Embedding 向量和执行向量相似性检索（检索出最相关的 Top-K 个信息）提示词工程（Prompt engineering）：用于将用户的问题和检索到的上下文组合成大模型的输入大语言模型（LLM）：用于生成回答上述的基础 RAG 架构可以有效解决 LLM 产生“幻觉”、生成内容不可靠的问题。但是，一些企业用户对上下文相关性和问答准确度提出了更高要求，需要更为复杂的架构。一个行之有效且较为流行的做法就是在 RAG 应用中集成 Reranker。什么是 Reranker？ Reranker （重排器）是信息检索（IR）生态系统中的一个重要组成部分，用于评估搜索结果，并进行重新排序，从而提升查询结果相关性。在 RAG 应用中，主要在拿到向量查询（ANN）的结果后使用...

2024-07-11

360

本文作者丁皓是Databend 研发工程师，也是开源项目 OpenDAL 作者，主要研究领域包括存储、自动化与开源。太长不看 Icelake 已经停止更新，请改用 iceberg-rust。 Iceberg-rust 是一个由社区驱动的项目，所有 Icelake 的贡献者都已转向该项目。它涵盖了 Icelake 之前提供的所有功能，并且是 Apache Iceberg 的官方实现版本。引言我将分享 icelake 和 iceberg-rust 背后的历史。这篇文章将记录一个开放社区是如何运作的：人们因共同的目标而团结，共同努力。这是开源最初的力量，也总是吸引我的地方。 Iceberg 是一种用于巨大分析表的高性能格式。它在全球范围内被广泛使用，并且几乎所有查询引擎都支持它。用户可以编写 SQL 来从存储在对象存储服务中的 Iceberg 表查询数据，无需首先将其导入数据库。长期以来，Iceberg 缺少官方 Rust 实现，这就是我们故事开始的地方。 Icelake In Databend 我们在 Databend 内部已经讨论了很多次关于支持开放表格格式的话题，我对此非常感兴...

2024-07-11

325

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。