近日,由网易游戏用户体验中心设计的《AIEyes: Enhancing Visual Accessibility Using AI
》(游戏自适应视障模式:AI助力视觉无障碍设计,以下简称“AIEyes”)获得“设计界的奥斯卡”2024年iF设计奖。该方案运用网易互娱AILab等提供的AI图像识别与语音技术,跟踪游戏画面的变化,主动播报新生成的信息,使视障人士能够从图像、模型和场景等多个维度感知、理解和体验游戏。
这也是全球首个运用AI技术为视障玩家提供无障碍游戏的交互设计,让视障人士从“听游戏”到真正沉浸式玩游戏。接下来,该方案将在网易游戏多款产品中探索应用落地,让视障人群也能跟健全人一样享受社交娱乐的快乐。
3亿视障人士被忽视的娱乐需求,视障人士也可成“吃鸡”高手
视障人士是如何打游戏的?
目前全世界的盲人及中重度视障人群超过3亿人,无障碍的交互设计逐渐成为国际对网络应用、电子游戏的基础要求。但相关数据报告显示,受视力的局限再加上很多游戏应用并没有进行无障碍优化,绝大多数的游戏视障者很难参与到游戏中。他们有的只能用“文本朗读”功能“听游戏”,通过声音在想象的世界里驰骋。即使市面上有专门针对盲人玩家定制的小型游戏,但玩法种类有局限性、体量小,视障人士无法跟健全人一样体验更高质量、最热门的游戏。
“我们不能假想他们不喜欢玩,而将他们拒之门外。”网易游戏用户体验中心相关团队在无障碍研究中发现,残障人士跟健全人士在娱乐上的需求是没有区别的,游戏是他们对外社交的桥梁,借助游戏,能帮助视障人士更好地融入社会。甚至,视障群体在一些游戏品类中还有更大的兴趣和优势。比如因为听觉灵敏,听声辩位是他们的乐趣,所以在射击、枪战类游戏非常擅长,甚至比健全玩家还厉害。
因此,随着AI生成技术涌现,网易游戏用户体验中心团队决定探索解决这一痛点,通过使用AI图像识别、AI文本释义、AI语音播报等技术,为游戏提供通用、低成本、易操作的是视障人士交互方案。
行业首创AIEyes交互方案,从机械地听文本朗读到沉浸式体验
什么样的方案能为视障群体搭建一个平等的场景,让他们也可以与正常人一样进行娱乐社交?
网易游戏用户体验中心团队设计研发的AIEyes,基于图像识别、AI文本语义生成和AI语音生成技术,一旦识别到视障玩家在界面上的点触、划动交互,AI将会执行画面解释,讲述画面上局部的内容。游戏中精彩的场景画面、角色、服饰、物品均可以实时呈现给视障玩家,提升了对游戏画面的感知范围,让视障玩家能够更全面的了解游戏画面内容。
不仅如此,AIEyes能实时感应游戏内环境、事件、角色动作等情况,AI感应后对相关实时变化内容进行自主播报,视障玩家能够第一时间了解游戏内容变化信息,从而提高游玩的沉浸感,包括天气、弹窗UI、角色待机动作等……
研发团队主设计师罗丹举例说道:“假设你看不到这个屏幕上的任何东西,但我并不想告诉你,这里有一个种植按钮。而是告诉你——这里是一个油画风格的场景,是你的家园,这里有一个简单的庇护所,一方田地。你的宠物在围着你转圈。田地里是枯萎的植物,界面上有一个浇水按钮和种植按钮。又比如在《蛋仔派对》中,其他玩家可以举着视障玩家探索和感受乐园的温暖。”
另外还值得注意的是,AIEyes符合视障用户交互习惯,在用户端操作与当前主流的“talkback”“旁白模式”等盲人交互模式无太大区别,因此视障群体能以通用、习惯的交互方式使用。
据介绍,该AI辅助无障碍游戏交互方案具有跨国际、跨游戏类型的普适性,既适用于如经营建造、RPG等以图像、场景氛围表现为主的游戏,又适用于2D游戏等以界面控件为主要形态的游戏,还能适用于以图像分享为主的流媒体网站。接下来,该方案将在网易游戏多款产品中探索应用落地。