苹果与哥伦比亚大学联合开发 AI 系统 SceneScout
苹果公司与哥伦比亚大学的研究团队近日共同开发了一款名为 SceneScout 的人工智能原型系统。这一系统旨在为盲人及低视力群体(BLV)提供街景导航的辅助功能,帮助他们更好地进行日常出行。 SceneScout 系统通过结合苹果地图(Apple Maps)API 与多模态大语言模型(基于 GPT-4o 内核),生成个性化的环境描述。 该系统的核心功能包括两大部分:首先是路线预览(Route Preview)。通过这一功能,用户能够预判行程中的道路状况,例如人行道的质量、交叉口的特征以及附近公交站的情况等。这些信息对于盲人用户而言,尤其重要,可以帮助他们在出行时提前了解周围环境。 其次是虚拟探索(Virtual Exploration)功能。该功能允许用户根据自己的需求进行开放场景的探索。例如,用户可以询问系统 “临近公园的安静居住区”,系统则会根据用户的需求提供相应的方向指引。SceneScout 通过模拟行人的视角解读可见内容,并生成结构化的文本信息,支持短、中、长不同格式的输出,能够适配多种读屏软件,方便盲人用户阅读。 在测试阶段,SceneScout 招募了10名视障用户进行使...
