网站首页 文章专栏 苹果联合哥伦比亚大学开发 AI 系统 SceneScout,为盲人用户解锁街景导航
苹果与哥伦比亚大学的研究团队开发了名为 SceneScout 的 AI 原型系统,旨在为盲人及低视力群体提供街景导航辅助,结合苹果地图 API 与多模态大语言模型,生成定制化环境描述。
7 月 8 日消息,苹果与哥伦比亚大学的研究团队开发出了一项名为 SceneScout 的 AI 原型系统,旨在为盲人及低视力群体(BLV)提供街景导航辅助。
该系统结合苹果地图(Apple Maps)API 与多模态大语言模型(基于 GPT-4o 内核),生成定制化环境描述。IT之家注意到,相关论文已经发表在预印平台 arXiv 上(未经同行评审)。
该系统可通过模拟行人的视角,解读可见内容,并输出结构化文本(短 / 中 / 长),适配读屏软件。
据介绍,SceneScout 在测试阶段招募了 10 名视障用户(多具备科技行业背景),结果显示:
- 72% 的 AI 生成描述准确
- 虚拟探索模式获高度评价(用户称其可替代传统信息获取方式)
