Meta 开源 Agent 评测基准 Gaia2 和 ARE 评测框架-低调大师

Meta 开源 Agent 评测基准 Gaia2 和 ARE 评测框架

2025-09-23 80

Meta发布了新一代Agent评测基准Gaia2及配套开源框架Meta Agents Research Environments（ARE），提供了1120个手机应用级的真实场景、多维度能力测试以及公开排行榜，旨在推动社区研究更稳定、可复现的AI Agent。

Gaia2作为2023年GAIA基准的继任者，任务类型从只读问答升级为读写交互式任务。它覆盖了执行、搜索、歧义处理、适应性、时间推理、Agent间协作、噪声容忍等七大赛道，共包含1000条全新的人工撰写场景。这些场景均基于Email、Calendar、Contacts、Shopping、FileSystem等12款模拟应用构建，能够模拟异步故障、API超时、突发消息等真实的混乱环境。

数据集以CC BY 4.0协议共享，ARE框架以MIT协议开源，并配套了公开排行榜与在线演示空间，支持开发者上传模型结果、查看结构化交互轨迹。

https://huggingface.co/blog/gaia2
https://huggingface.co/spaces/meta-agents-research-environments/leaderboard
https://github.com/facebookresearch/meta-agents-research-environments

微信关注我们

原文链接：https://www.oschina.net/news/373975

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

网信部门依法查处今日头条、UC 平台

据网信中国消息，近日，针对今日头条平台未落实信息内容管理主体责任，不仅在热搜榜单主榜呈现不良信息内容，还在落地页面置顶呈现相关话题，破坏网络生态的问题，国家网信办指导北京市网信办，依据《网络信息内容生态治理规定》等有关规定，对今日头条平台采取约谈、责令限期改正、警告、从严处理责任人等处置处罚措施。另外，针对UC平台未落实信息内容管理主体责任，在热搜榜单主榜扎堆呈现极端敏感恶性案事件词条等非权威部门、权威媒体发布的信息，涉及网络暴力、未成年人隐私等相关话题，破坏网络生态秩序的问题，国家网信办指导广东省网信办，依据《网络信息内容生态治理规定》等有关规定，对UC平台采取约谈、责令限期改正、警告、从严处理责任人等处置处罚措施。

2025-09-23

71

天眼查App显示，华为技术有限公司申请的“一种模型评测方法及装置”和“一种模型交互方法、装置、电子设备及交互系统”专利9月23日公布。摘要显示，前者申请提供一种模型评测方法及装置。其中方法包括：打分系统根据第一评测问题、所述第一评测问题的第一参考答案以及所述第一评测问题的第一答复，确定所述第一答复的第一打分、和所述第一打分的第一解释，所述第一答复是待评测模型对所述第一评测问题的第一答复；所述第一参考答案是针对所述第一评测问题的预设正确答案；第一解释用于表征给出所述第一打分的原因；打分系统向评测人员或接收模块输出所述第一打分和所述第一解释；第一打分和所述第一解释用于确定评估结果，评估结果用于评估所述待评测模型答复第一评测问题的准确性。采用上述方法，能够在对待评测模型的答复进行打分的同时，对打分的原因予以解释，提高生成完整的评测结果的效率。后者公开了一种模型交互方法、装置、电子设备及交互系统，涉及人工智能技术领域。电子设备中的AI模型提前预判用户需求，并主动输出问题的答案，从而减少用户与AI模型之间的交互次数，提高模型交互的效率。具体而言，电子设备根据已显示的第一内容及相关的信息进对该...

2025-09-23

66

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。