解锁 AI 潜力 | 使用 GreptimeAI 深入观测 OpenAI 行为和用量
随着人工智能技术的迅速进步,OpenAI 已经崭露头角,成为该领域的领军者之一。它在多种语言处理任务上表现卓越,包括机器翻译、文本分类和文本生成等。 然而,使用 OpenAI 时,持续监控 API 调用的重要性不容忽视,这不仅可以帮助我们识别出性能瓶颈,统计和分析使用情况,还可以帮助我们在 API 出现问题时快速发现并进行相应的处理。 GreptimeAI GreptimeAI 提供了专为监测和管理大型语言模型(LLM)应用设计的定制可观测性解决方案。这一方案使您能够全面了解成本、性能、流量和安全性方面的情况。更多关于 GreptimeAI 的产品细节,请参阅 此文。值得一提的是,GreptimeAI 的存储解决方案构建于开源时序数据库 GreptimeDB 之上。 哪些 OpenAI 的模块会被监控 chat completion audio images 支持的场景 async stream with_raw_response retry error 用户指南 安装 GreptimeAI pip install --upgrade greptimeai 注册 GreptimeAI 首先,注册 GreptimeAI 以创建一个服务,并获取以下参数: host database token 配置 在环境变量中设置 GreptimeAI 需要的配置: export GREPTIMEAI_HOST='xxx' export GREPTIMEAI_DATABASE='xxx' export GREPTIMEAI_TOKEN='xxx' 如果你希望直接传递参数,可以这么做: openai_patcher.setup( host=os.environ.get("GREPTIMEAI_HOST"), database=os.environ.get("GREPTIMEAI_DATABASE"), token=os.environ.get("GREPTIMEAI_TOKEN"), client=client, ) Example 以下是一个简单的示例,说明如何在启用了 GreptimeAI 跟踪的情况下调用 OpenAI chat completion 模块。 from greptimeai import openai_patcher from openai import OpenAI client = OpenAI() openai_patcher.setup(client=client) completion = client.chat.completions.create( messages=[ { "role": "user", "content": "How do I output all files in a directory using Python?", } ], model="gpt-4", user="<user_id_from_your_application>", stream=True, ) What does it look like in GreptimeAI Overview: 下图展示了带有多个 span 的追踪细节: 关于 Greptime 的小知识: Greptime 格睿科技于 2022 年创立,目前正在完善和打造时序数据库 GreptimeDB,格睿云 GreptimeCloud 和可观测工具 GreptimeAI 这三款产品。 GreptimeDB 是一款用 Rust 语言编写的时序数据库,具有分布式、开源、云原生和兼容性强等特点,帮助企业实时读写、处理和分析时序数据的同时降低长期存储成本;GreptimeCloud 可以为用户提供全托管的 DBaaS 服务,能够与可观测性、物联网等领域高度结合;GreptimeAI 为 LLM 量身打造,提供成本、性能和生成过程的全链路监控。 GreptimeCloud 和 GreptimeAI 已正式公测,欢迎关注公众号或官网了解最新动态! 官网:https://greptime.cn/ GitHub: https://github.com/GreptimeTeam/greptimedb 文档:https://docs.greptime.cn/ Twitter: https://twitter.com/Greptime Slack: https://greptime.com/slack LinkedIn: https://www.linkedin.com/company/greptime/