基于GPT-4V，一句话就可以在多个应用中无缝切换，完成复杂任务。整一个完整的过程无需人为干预，其执行成功率和效率是GPT-4的两倍，GPT-3.5的四倍。

  这样一个智能体叫做UFO，全名“UI-Focused”，是一个专为Windows OS（操作系统）交互设计、面向用户界面（UI）的智能体框架，可以在单个或者多个应用程序中操作，由MSRA、微软AI与应用研究团队等共同打造。

  据介绍，UFO是第一个专为Windows OS环境中的任务完成量身定做的UI Agent。

  就拿删除PPT上的所有注释为例。传统方式需要一页一页手动删除注释。如果PPT巨长无比，这样的一个过程就会又久又无聊，让人瞬间暴躁。

  它先是提议用“删除所有演示笔记”功能，这个功能因为按钮位置藏得很深，经常被用户忽视。

  而后，UFO导航到“File”选项，对后台视图进行访问；然后，再平滑地切换到“info”菜单，单击“检查问题”按钮，并选择“检查文档”，开始检查文档中所有包含的注释。

  紧接着，UFO识别到菜单地步的“删除所有演示笔记”，向下滚动定位到其位置，启动单击功能。

  考虑到误删的可能性，UFO这里有一道保护功能，需要用户再次确定是不是真的要删除所有注释。

  以及怎么利用UFO在Word文档里提取文本、描述图像、撰写然后发送电子邮件等。

  研究团队在9个常用的Windows应用程序上对UFO进行了测试，包括Outlook、Photos、PPT、Word等，涵盖了Windows用户的高频使用场景，能够测试工作、交流、编码、阅读、网页浏览等目的。

  对于每个应用程序，团队设计了5个不同的请求，共45个；另外还设计了5个设计跨多个交互应用程序的请求。

  也就是说，共产生了50个请求，每个应用程序至少有一个请求链接到另一个后续请求，提供全面评估UFO的互动模式。

  在评估指标方面，则从成功度、步骤、完成率和保障率这几个角度来评估UFO。

  为了全面评估UFO的性能，团队开发了名为WindowsBench的测试基准。

  考虑到没有现成的Windows Agent，团队选择GPT-3.5和GPT-4作为基座模型，并且指示它们提供一步一步的指导来完成用户请求。

  值得注意的是，UFO在WindowsBench上成功率达到了86%，成倍超过了GPT-4——因此UFO可以被定位为一个高效的Agent。

  而UFO的完成率也是最好的，这表明它有能力采取更精确的动作；此外，UFO达成目标的步骤也是最少的，安全度也是最高的。

  首先，它理解用户的自然语言要求，然后将其分解为一系列子任务。然后观察用户界面，并对其控制元素做相关操作，以实现总体目标。

  在收到用户请求后，AppAgent会对需求来做分析。除此之外，还有这一些信息作为输入：桌面截图、App信息、记忆以及示例。

  其中，UFO为AppAgent提供了完整的桌面截图和可用应用程序列表以供参考。

  然后从当前激活的应用程序中选择一个合适的应用程序，并制定一个全局实现计划，将其传递给ActAgent。

  一旦找到比较合适的应用程序，App就会出现在桌面上。随后ActAgent启动操作。

  在每个操作选择之前，UFO都会捕获当前应用程序用户界面窗口的屏幕截图，并标注所有可用控件。此外，UFO还记录了每个控件的相关信息，供 ActAgent观察。

  ActAgent的任务是选择要操作的控件，然后通过控件交互模块选择要在所选控件上执行的特定操作。

  这一决定是基于 ActAgent 的观察结果、先前计划和操作记忆做出的。

  这个递归过程一直持续到用户请求在所选应用程序中成功完成为止。至此，用户请求的一个阶段结束。

  如果需要跨越多个应用程序，那么在ActAgent 完成当前任务之后，ActAgent 将把任务委托给 AppAgent，以便切换到不同的应用程序，从而启动请求的第二阶段。

  研究团队依据日常鼠标操作，还开发了自定义操作，比如单击、选择文本、滚动等，以此来完成对于控件的操作。

  他于2020年，在爱丁堡大学获得硕士和博士学位，研究兴趣包括时间序列建模、时空数据挖掘、因果推理以及云服务和 AIOps的可解释机器学习。

  Chaoyun Zhang还是华中科技大学校友，出国前在华中科技大学电子信息与通信学院取得学士学位。

  他先毕业于清华大学计算机科学与技术系，取得学士学位；而后又在2012年获得中国科学院软件研究所博士学位。期间，Liqun Li曾作为访问学者前往密歇根州立大学。

  他领导应用研究团队与Microsoft的各个研究小组进行深入协作，将算法研究与AI/ML技术和硬件创新相结合

  她从2004年起加入MSRA，从事和领导DKI领域的研究工作，近几年，团队将研究扩大到商业智能领域。

  此前，张祺曾任微软（亚洲）互联网工程院常务副院长，兼任微软移动联新互联网服务有限公司董事长，负责微软互联网业务及人工智能平台在亚洲的团队。

  该小组致力于AI、数据分析、数据交互、数据可视化的研究，探索全新的数据分析、展示、交互技术，让数据和数据中的发现故事被高效地理解、广泛地传播。

  团队与微软产品如Excel，PowerPoint等深度合作，常年在所有的领域的顶会和期刊上发表论文。