您现在的位置是:首页 > 文章详情

UFO² —— 桌面 AgentOS

日期:2025-06-06点击:29

UFO 现已升级为UFO²(Desktop AgentOS),这是可在 Windows 桌面操作系统上运行的新一代代理框架。它旨在跨多个应用程序自动化协调任务,使用户能够使用自然语言命令与其操作系统无缝交互,而不仅仅是UI 自动化

关键功能

特性 描述
Deep OS 集成 结合 Windows UIA、Win32 和 WinCOM,实现一流的控制检测和本机命令。
画中画桌面 (即将推出) 自动化在沙盒虚拟桌面中运行,因此您可以继续使用主屏幕。
Hybrid GUI + API Actions 在可用时选择本机 API,在不可用时则回退到点击/击键——快速且强大。
Speculative Multi‑Action 将几个预测步骤捆绑到一次 LLM 调用中,并进行实时验证——查询量减少高达 51%
Continuous Knowledge Substrate 通过 RAG 混合文档、Bing 搜索、用户演示和执行跟踪,供代理随着时间推移进行学习。
UIA+视觉控制检测 使用混合 UIA + 视觉管道检测标准和自定义控件。

架构概述

UFO² 作为桌面代理操作系统运行,包含一个多代理框架,其中包括:

  1. HostAgent  解析自然语言目标,启动必要的应用程序,启动/协调 AppAgents,并引导全局有限状态机 (FSM)。
  2. AppAgents — 每个应用程序一个;每个运行一个 ReAct 循环,具有多模式感知、混合控制检测、检索增强知识以及在 GUI 操作和本机 API 之间进行选择的Puppeteer执行器。
  3. 知识基础 — 将离线文档、在线搜索、演示和执行跟踪融合到可在推理时动态检索的矢量存储中。
  4. 推测执行器 — 通过预测批量可能的操作并一次性根据实时 UIA 状态进行验证,大幅减少 LLM 延迟。
  5. 画中画桌面 (即将推出)— 在独立的虚拟桌面中运行代理,这样您的主工作区和输入设备就不会受到影响。
原文链接:https://www.oschina.net/p/microsoft-ufo
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章