Meta 开源 Agent 评测基准 Gaia2 和 ARE 评测框架-低调大师

Meta 开源 Agent 评测基准 Gaia2 和 ARE 评测框架

2025-09-23 156

Meta发布了新一代Agent评测基准Gaia2及配套开源框架Meta Agents Research Environments（ARE），提供了1120个手机应用级的真实场景、多维度能力测试以及公开排行榜，旨在推动社区研究更稳定、可复现的AI Agent。

Gaia2作为2023年GAIA基准的继任者，任务类型从只读问答升级为读写交互式任务。它覆盖了执行、搜索、歧义处理、适应性、时间推理、Agent间协作、噪声容忍等七大赛道，共包含1000条全新的人工撰写场景。这些场景均基于Email、Calendar、Contacts、Shopping、FileSystem等12款模拟应用构建，能够模拟异步故障、API超时、突发消息等真实的混乱环境。

数据集以CC BY 4.0协议共享，ARE框架以MIT协议开源，并配套了公开排行榜与在线演示空间，支持开发者上传模型结果、查看结构化交互轨迹。

https://huggingface.co/blog/gaia2
https://huggingface.co/spaces/meta-agents-research-environments/leaderboard
https://github.com/facebookresearch/meta-agents-research-environments

微信关注我们

原文链接：https://www.oschina.net/news/373975

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

网信部门依法查处今日头条、UC 平台

据网信中国消息，近日，针对今日头条平台未落实信息内容管理主体责任，不仅在热搜榜单主榜呈现不良信息内容，还在落地页面置顶呈现相关话题，破坏网络生态的问题，国家网信办指导北京市网信办，依据《网络信息内容生态治理规定》等有关规定，对今日头条平台采取约谈、责令限期改正、警告、从严处理责任人等处置处罚措施。另外，针对UC平台未落实信息内容管理主体责任，在热搜榜单主榜扎堆呈现极端敏感恶性案事件词条等非权威部门、权威媒体发布的信息，涉及网络暴力、未成年人隐私等相关话题，破坏网络生态秩序的问题，国家网信办指导广东省网信办，依据《网络信息内容生态治理规定》等有关规定，对UC平台采取约谈、责令限期改正、警告、从严处理责任人等处置处罚措施。

2025-09-23

132

天眼查App显示，华为技术有限公司申请的“一种模型评测方法及装置”和“一种模型交互方法、装置、电子设备及交互系统”专利9月23日公布。摘要显示，前者申请提供一种模型评测方法及装置。其中方法包括：打分系统根据第一评测问题、所述第一评测问题的第一参考答案以及所述第一评测问题的第一答复，确定所述第一答复的第一打分、和所述第一打分的第一解释，所述第一答复是待评测模型对所述第一评测问题的第一答复；所述第一参考答案是针对所述第一评测问题的预设正确答案；第一解释用于表征给出所述第一打分的原因；打分系统向评测人员或接收模块输出所述第一打分和所述第一解释；第一打分和所述第一解释用于确定评估结果，评估结果用于评估所述待评测模型答复第一评测问题的准确性。采用上述方法，能够在对待评测模型的答复进行打分的同时，对打分的原因予以解释，提高生成完整的评测结果的效率。后者公开了一种模型交互方法、装置、电子设备及交互系统，涉及人工智能技术领域。电子设备中的AI模型提前预判用户需求，并主动输出问题的答案，从而减少用户与AI模型之间的交互次数，提高模型交互的效率。具体而言，电子设备根据已显示的第一内容及相关的信息进对该...

2025-09-23

134

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。