vivo 等提出 DiMo-GUI:模态分治 + 动态聚焦,GUI 智能体推理时扩展的新范式
作者:vivo 互联网算法团队 本文入选 EMNLP 2025 Main Conference EMNLP 会议全称为 Conference on Empirical Methods in Natural Language Processing,由国际计算语言学协会 ACL 举办,是自然语言处理和人工智能领域最重要的学术会议之一。EMNLP 2025 会议共有 8174 篇投稿,Main Conference 接收率仅为 22.16%。 项目主页: https://github.com/vivo/DiMo-GUI 摘要: 本文介绍了一种无需额外训练的 GUI 定位框架 DiMo-GUI,针对多模态大语言模型(MLLMs)在复杂图形用户界面(GUI)定位任务中的挑战,通过动态视觉推理与模态感知优化显著提升性能。DiMo-GUI 采用逐级缩放的动态定位机制,迭代裁剪聚焦目标区域,减少视觉冗余;同时分离文本与图标模态,独立推理后结合指令评估确定最终目标,有效平衡多模态处理能力。在 GUI 定位任务最新的基准数据集上,DiMo-GUI 相较基线展现显著性能提升。作为即插即用框架,DiMo-GU...
