Evals —— OpenAI 模型评估框架
Evals 是一个评估 OpenAI 模型的框架和一个开源的基准测试注册表,你可以使用 Evals 来创建和运行评估: 使用数据集来生成提示信息 衡量 OpenAI 模型所提供的完成度的质量 比较不同数据集和模型的性能 Evals 的目标是使建立一个评估尽可能简单,同时编写尽可能少的代码。要开始使用,建议你依次按照以下步骤进行: 通读本文档,并遵循下面的设置说明。 了解如何运行现有的评价:run-evals.md 熟悉现有的评估模板:eval-templates.md 了解构建评估的过程:build-eval.md 看一个实现自定义评价逻辑的例子:custom-eval.md。 设置 要运行评估,需要设置并指定您的 OpenAI API 密钥。获取 API 密钥后,使用 OPENAI_API_KEY环境变量指定它。 下载评估 Evals 注册表使用 Git-LFS 存储,下载并安装 LFS 后,可以通过以下方式获取评估: git lfs fetch --all git lfs pull 你可能只想为选择的评估获取数据,则可以通过以下方式实现: git lfs fetch --inclu...
