解锁 AI 潜力 | 使用 GreptimeAI 深入观测 OpenAI 行为和用量
随着人工智能技术的迅速进步,OpenAI 已经崭露头角,成为该领域的领军者之一。它在多种语言处理任务上表现卓越,包括机器翻译、文本分类和文本生成等。
然而,使用 OpenAI 时,持续监控 API 调用的重要性不容忽视,这不仅可以帮助我们识别出性能瓶颈,统计和分析使用情况,还可以帮助我们在 API 出现问题时快速发现并进行相应的处理。
GreptimeAI
GreptimeAI 提供了专为监测和管理大型语言模型(LLM)应用设计的定制可观测性解决方案。这一方案使您能够全面了解成本、性能、流量和安全性方面的情况。更多关于 GreptimeAI 的产品细节,请参阅 此文。值得一提的是,GreptimeAI 的存储解决方案构建于开源时序数据库 GreptimeDB 之上。
哪些 OpenAI 的模块会被监控
- chat
- completion
- audio
- images
支持的场景
- async
- stream
- with_raw_response
- retry
- error
用户指南
安装 GreptimeAI
pip install --upgrade greptimeai
注册 GreptimeAI
首先,注册 GreptimeAI 以创建一个服务,并获取以下参数:
- host
- database
- token
配置
在环境变量中设置 GreptimeAI 需要的配置:
export GREPTIMEAI_HOST='xxx' export GREPTIMEAI_DATABASE='xxx' export GREPTIMEAI_TOKEN='xxx'
如果你希望直接传递参数,可以这么做:
openai_patcher.setup( host=os.environ.get("GREPTIMEAI_HOST"), database=os.environ.get("GREPTIMEAI_DATABASE"), token=os.environ.get("GREPTIMEAI_TOKEN"), client=client, )
Example
以下是一个简单的示例,说明如何在启用了 GreptimeAI 跟踪的情况下调用 OpenAI chat completion 模块。
from greptimeai import openai_patcher from openai import OpenAI client = OpenAI() openai_patcher.setup(client=client) completion = client.chat.completions.create( messages=[ { "role": "user", "content": "How do I output all files in a directory using Python?", } ], model="gpt-4", user="<user_id_from_your_application>", stream=True, )
What does it look like in GreptimeAI
Overview:
下图展示了带有多个 span 的追踪细节:
关于 Greptime 的小知识:
Greptime 格睿科技于 2022 年创立,目前正在完善和打造时序数据库 GreptimeDB,格睿云 GreptimeCloud 和可观测工具 GreptimeAI 这三款产品。
GreptimeDB 是一款用 Rust 语言编写的时序数据库,具有分布式、开源、云原生和兼容性强等特点,帮助企业实时读写、处理和分析时序数据的同时降低长期存储成本;GreptimeCloud 可以为用户提供全托管的 DBaaS 服务,能够与可观测性、物联网等领域高度结合;GreptimeAI 为 LLM 量身打造,提供成本、性能和生成过程的全链路监控。
GreptimeCloud 和 GreptimeAI 已正式公测,欢迎关注公众号或官网了解最新动态!
GitHub: https://github.com/GreptimeTeam/greptimedb
Twitter: https://twitter.com/Greptime
Slack: https://greptime.com/slack
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
实录分享 | 央企大数据平台架构发展趋势与应用场景的介绍
分享嘉宾: 孟子涵-中国华能集团信息中心平台架构师 2021年华能就与Alluxio建立了合作,共同写了整个华能统一纳管的架构方案。这个方案我认为是现在我们在央企里边比较核心的一套体系,能让全集团所有我们认为重要的数字化资源实现真正的统一集中,让存储、计算、数据、应用、技术能力,能够在全集团范围内最大化的流动起来,让大家最大化使用这些资源。 分享主题:《央企大数据平台架构发展趋势与应用场景的介绍》 一、背景 中国华能简介 华能集团作为一家能源央企隶属于国务院国资委,是一个比较传统的能源企业,也是全球最大的清洁能源供应商之一。华能的装机容量在全球占比排名第二,发电量占全国的10%(占全世界的2%),体量还是比较大的。 华能大概有58家二级单位,480家三级单位,以及涉足包括能源、科技、交通、运输、港口等很多产业链,有大概14万的员工。 “十四五”数字化架构蓝图 2020年华能提出了"十四五"战略规划,这个规划主要是“2111工程”,其中2是包括左右两边两个支撑: 1、一个是安全可控——现在在提的国产化替代。华能在做的是响应国家的号召,从软硬件一体化所有的东西都在做国产化替代。 2、第二...
- 下一篇
Apache Tomcat 10.1.18 发布
Apache Tomcat 10.1.18 现已发布,此版本实现了作为 Jakarta EE 10 平台一部分的规范。 在 Tomcat 9 和更早版本上运行的应用程序,如果不做修改,将无法在 Tomcat 10 上运行。为 Tomcat 9 和更早版本设计的基于 Java EE 的应用程序可以放在$CATALINA_BASE/webapps-javaee目录下,Tomcat 会自动将其转换为 Jakarta EE 并复制到 webapps 目录。此转换是通过Apache Tomcat 的 Jakarta EE 迁移工具进行的,此工具也可以单独下载,以供离线使用。 一些值得关注的变化有: 修复 NIO2 连接器的虚拟线程支持。 更正了 67675 修复程序中的回归,该回归破坏了未指定显式伪随机函数并依赖于默认值的 PKCS#8 格式密钥的 TLS 密钥文件解析。这通常会影响 OpenSSL 1.0.2 生成的密钥。 允许在introspected mbeans 上执行多个同名操作,修复因引入第二个 addSslHostConfig() 方法而导致的回归。 这些更改以及所有其他更改的完整...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS关闭SELinux安全模块
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果