可触摸的元宇宙——5月30日,西湖大学发表最新虚拟现实交互领域研究成果,在国际上首次提出并开发了“高保真主动机械触感交互系统”,为元宇宙带来了全新的触觉感知维度。
伦敦时间5月29日16:00,Nature Machine Intelligence(《自然-机器智能》)在线发表了西湖大学姜汉卿团队的该项研究成果“Active Mechanical Haptics with High-Fidelity Perceptions for Immersive Virtual Reality”。
澎湃新闻(www.thepaper.cn)从西湖大学了解到,这项研究借鉴了古老的东方手工技艺“折纸”,这意味着他们借鉴折纸艺术,让VR眼镜里的虚拟世界不仅可见、可听,还可“触摸”。
众所周知,当前的VR交互,仅可提供视觉与听觉体验,呈现的是一个仅可远观、却无法触碰的虚拟空间,而触觉恰恰是人类获得主体感的关键——在人类的五感(视觉、听觉、嗅觉、味觉、触觉)中,视、听觉在信息接收方面居于主导地位,味、嗅觉处于辅助地位,触觉则居于根本地位(我们据此获得物主感,这是区分主体和客体的关键)。
研究者们曾经尝试过很多种“解决”方案,大多是通过震动或压力代偿创造“被动触感”:例如具有振动功能的手柄;柔性电子科学家、西北大学John Rogers院士发明的可以贴在皮肤上的振动马达;以及Meta在2021年发布的触觉感知手套,通过气囊压迫给予用户抓取物体时的触感……然而,这些“触感”就如同你的手机忽然振动了一下,或者是坐在4D电影院里突然感受到座椅的晃动,你的体感都是由设备出发、给予你一种被动的交互体验,距离日常生活中真实的、由人类主动触发的“触觉”还差距甚远。
最前沿的VR和元宇宙,怎么会因为传统的折纸艺术而破局?
澎湃新闻了解到,姜汉卿在2021年6月结束了在美国亚利桑那州立大学十五年的任教,正式加盟西湖大学。在西湖大学,他最早启动的课题之一就是柔性电子与软/硬异质性材料研究,即“折纸机械超材料”。这指的是并非自然形成,而是人为构造的材料结构,材料的性能不依赖于材料的分子结构或者晶体结构本身,主要依赖于其精巧的构型里面的结构细节。
“折纸材料可能很软,但是依赖于不同的折叠方式,折纸结构又会变得很硬,基于折纸结构的机器人,就可以随时调节软硬程度。”姜汉卿萌生了把“折纸”和元宇宙结合起来的念头。
摆脱当前虚拟现实交互的固有思维定式,姜汉卿创造了“主动触觉”这个新概念——不同于肩、胸、腰、背等人类身体通常接收“被动触觉”的部位,人的手和脚通常是主动出击,通过主动触摸去感知物理世界。研究团队选择从“机械触感”(即刚度,物品的软硬触感)入手,模拟手和脚主动触摸物体时的感觉。
高保真主动机械触感交互系统的局部结构
他们研发了一套“高保真主动机械触感交互系统”,利用不同材质、不同尺寸的折纸模块搭建了两种不同维度的交互装置:一种可引发局部触感的手持式装置,与一种可以产生全身体感的脚踏式装置。在使用手持式交互装置时,用户可通过主动抓握,体验其所交互的不同物品的软硬程度;在使用脚踏式装置时,用户则可通过主动踩踏,以全身运动的形式体验其所处的环境地面特性。
这种主动机械触感的实现,正是源于硬件设备内部曲面折纸结构在交互过程中、由用户主动触发的被动变形——在电机的配合作用下,曲面折纸能弯曲成不同的角度,也会产生不同大小的反力,从而给予用户手足不同的“弹性”反馈。
这种触觉的变化传递给大脑,大脑就会根据“软硬”做出判断:抓到的是棉花,是木板,还是钢球……如果把手换成脚,大脑同样会根据脚所传递的刚度反馈,来判定人是走在马路上、草地上,还是踩在冰上……由此,在元宇宙的虚拟世界中,就可以实现“所见即所触,所处即所踏”。
据西湖大学介绍,接下来,姜汉卿研究团队将继续寻找多模式的感知、还原更完整的触觉,在形态上,他们正在尝试和柔性电子整合,实现主动触觉与被动触觉的结合,以及努力用折纸实现更大尺度的体验,在更大的场景中实现交互。