复旦团队助力视障者“听见世界”
2024-03-04 一枚摄像头,一对耳机,便能将画面转化成语言,描绘场景、提示风险,让视障者出行生活更加安全、便捷。
日前,在复旦大学自然语言处理实验室(FudanNLP)师生的努力下,
基于多模态大模型,“复旦·眸思”(MouSi)为视障者量身打造的“听见世界”APP上线,
我国盲人数量有1700多万,但为什么我们极少在街上看到盲人?这是因为他们难以独自跨出家门,“听见世界”APP将成为视障人士的生活助手与智能管家,
“复旦·眸思”(MouSi)官网链接:http://www.mousi.org/
可登录试用体验,打破视觉界限,助力视障者“看见”世界、“听见世界”APP,针对视障者日常的生活需求设计了三种模式。
街道行走模式
它将细致扫描道路情况,告知红绿灯、十字路口、障碍物……提示潜在风险,陪伴视障者安全通行。
自由问答模式
走进博物馆、艺术馆、公园……它能捕捉四周景象的每个细节,用声音构建一个丰富的生活场景。
寻物模式
它像一名可靠的管家,日常物件的寻觅过程,变得轻松无压力。
复旦大学自然语言实验室张奇教授表示,“希望‘眸思’能够帮助视障人士走出家门,让他们可以尝试更多工作,为人生书写更多可能。”
据悉,这一项目落地背后,是一支年轻团队的努力。从本科生到博士生共25名复旦学子,以及桂韬等多位教师、专家的加入,才有了如今的成果。
今年上半年,团队将结合AR升级APP内的定位精度细化至亚米级别。下半年,团队希望将“眸思”升级到基于视频的判断。同时,更多模式也正在开发中,比如阅读模式、解说模式等。
据了解,在政府的支持下,团队还计划与NGO组织、智算中心和硬件厂商等开展合作,力争让视障者免费使用产品和相关服务。预计今年3月,“听见世界”APP将完成第一轮测试,并在我国一、二线城市和地区同步开启试点。