苹果公司与哥伦比亚大学的研究团队近日共同开发了一款名为 SceneScout 的人工智能原型系统。这一系统旨在为盲人及低视力群体（BLV）提供街景导航的辅助功能，帮助他们更好地进行日常出行。

SceneScout 系统通过结合苹果地图（Apple Maps）API 与多模态大语言模型(基于 GPT-4o 内核)，生成个性化的环境描述。

该系统的核心功能包括两大部分:首先是路线预览（Route Preview）。通过这一功能，用户能够预判行程中的道路状况，例如人行道的质量、交叉口的特征以及附近公交站的情况等。这些信息对于盲人用户而言，尤其重要，可以帮助他们在出行时提前了解周围环境。

其次是虚拟探索（Virtual Exploration）功能。该功能允许用户根据自己的需求进行开放场景的探索。例如，用户可以询问系统 “临近公园的安静居住区”，系统则会根据用户的需求提供相应的方向指引。SceneScout 通过模拟行人的视角解读可见内容，并生成结构化的文本信息，支持短、中、长不同格式的输出，能够适配多种读屏软件，方便盲人用户阅读。

在测试阶段，SceneScout 招募了10名视障用户进行使用，这些用户大多具有科技行业的背景。测试结果显示，72% 的 AI 生成描述被认为是准确的。而在虚拟探索模式中，用户反馈非常积极，称这一功能可以有效替代传统的信息获取方式，为他们的日常出行带来了极大的便利。