Arthur 发布开源 AI 模型评估工具，为特定用例确定最佳 LLM-低调大师

Arthur 发布开源 AI 模型评估工具，为特定用例确定最佳 LLM

2023-08-18 389

机器学习监控初创公司 Arthur 一直在开发一些旨在帮助公司更有效地使用 LLM 的工具。该公司最新发布了一款开源工具 Arthur Bench，以帮助用户为特定数据集找到最佳 LLM。

Arthur 首席执行官兼联合创始人 Adam Wenchel 表示，他们看到了大众对生成式 AI 和 LLM 的浓厚兴趣，因此在产品创造上投入了大量精力。考虑到 ChatGPT 发布还不到一年，目前尚未出现一种有组织的方法来衡量一种工具相对于另一种工具的有效性；在此种背景下，Arthur Bench 应运而生。

“Arthur Bench 解决了我们从每个客户那里都听到过的一个关键性问题，那就是 [在所有的型号选择中]，哪一款最适合你的特定应用。”

Arthur Bench 附带了一套工具，你可以使用它来系统地测试性能；但其真正的价值在于，允许你测试和测量用户用于特定应用程序的提示类型在不同的 LLM 上的表现。

根据介绍，Bench 可以帮助评估：

通过跨任务和用例的通用界面标准化 LLM 评估的工作流程
测试开源 LLM 是否能与顶级闭源 LLM API 供应商一样出色地处理你的特定数据
将 LLM 排行榜和基准的排名转化为你关心的实际用例的分数

Wenchel 指出，你可以测试 100 种不同的提示，然后看看两种不同的 LLM--比如 Anthropic 与 OpenAI--在用户可能使用的提示类型上有什么不同。更重要的是，你可以大规模地进行测试，从而更好地决定哪种模式最适合你的特定用例。

微信关注我们

原文链接：https://www.oschina.net/news/254323/arthur-bench-open-source

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Kotlin Multiplatform 名称更新，以后请统称 KMP

概要：为了解决过去两年长期困扰众多 Kotlin 开发者的命名不一致和缩写混乱问题，我们将弃用“Kotlin Multiplatform Mobile”(KMM) 产品名称。从现在开始，无论目标组合如何，“Kotlin Multiplatform”(KMP) 都是跨平台共享代码的 Kotlin 技术的首选术语。 Kotlin Multiplatform 起源 Kotlin Multiplatform 在KotlinConf 2017上以“Kotlin Multiplatform Projects”名称发布，最初支持 JVM、Native 和 JS 目标。我们很快就吸引了一批早期采用者，他们主要使用缩写“KMP”，较少使用“MPP”。 2020 年前，这项技术都处于实验阶段，团队根据早期采用者的反馈进行调整。 2020 年，我们将重点转向 iOS 与 Android 之间的代码共享，这是最常见的用例。我们希望吸引更多移动开发者使用 Kotlin Multiplatform，利用他们的反馈增强技术，准备进行更多改进，包括更好地支持其他目标。为了反映这一重点，我们将 Kotlin Mu...

2023-08-18

812

近日，NineData 作为新一代的云原生智能数据管理平台，成功通过了 AWS（Amazon Web Service）的 FTR 认证。NineData 在 FTR 认证过程中表现出色，成功通过了各项严格的测试和评估，在数据安全管理、技术应用、流程规范等方面均达到 AWS 全球技术要求。什么是 FTR，为什么要做 FTR？ FTR（Foundational Technical Review）是亚马逊云服务针对合作伙伴解决方案相关进行的一项技术审核，涵盖了架构设计审核、安全性审核、性能测试与优化以及成本评估等多个方面，用来帮助合作伙伴识别和纠正产品或解决方案中的相关风险。通过该审核流程，用户可以确保其在 AWS 上的资源和服务满足 AWS 的标准和要求，提高服务质量并降低错误风险，全面提升用户的体验。 NineData 成功通过 AWS FTR 认证，是客户可以放心使用的数据管理工具。FTR 认证不仅要求 NineData 具备完善的数据管理能力，还对产品架构设计、数据安全、技术应用等方面进行全面考察，确保其符合行业标准和法规要求。NineData 在安全措施的分析和应对策略上针对性地...

2023-08-18

328

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。