深度报道

在元宇宙,我们用眼睛操控万物?

你是否畅想过,用眼睛就能控制万物,让物体按照自己的意愿来自由移动?

你是否畅想过,用眼睛就能控制万物,让物体按照自己的意愿来自由移动?

遗憾的是,这个酷炫,如同科幻片的场景,在以前只能出现在小说和电影中,如同 " 特异功能 " 或者 " 魔法 "。在现实中,这种场景似乎是无法存在的。

2016 年前后,初代 AR/VR 眼镜和头显的出现,曾让人们短暂地看到这一场景的曙光,这些设备可以让人体验沉浸感十足的 3D 的效果。可在初代产品中,人们仍只能通过双手和头部的动作来操作。且由于当时的技术限制,人们在使用时极易产生眩晕感,沉浸感也稍显不足。

但随着眼动追踪技术的出现,这样的想法,终于有可能成为现实了。人们只需眼睛,就可以操控万物。眼睛注视的位置不同,VR/AR 等设备都能检测出来。这不仅规避了此前人们在虚拟现实世界中的眩晕感,更将带来十足的沉浸感。

这一技术正得到科技巨头们的青睐,索尼的 PSVR 2,Meta 的 Cambriat 都已确定将采用这一技术,多方消息显示,苹果最新的 MR 头显产品,眼动追踪功能也将大概率会被采用。这也预示着眼动追踪技术,将成为 MR 产品未来发展的方向标。

Meta Quest 2 来源 / 网络

而在市场上备受追捧的元宇宙世界中,MR 产品被作为是市场广泛认同的元宇宙的入口,作为 MR 产品的方向标,眼动追踪技术对元宇宙世界的重要性更是不言而喻。

从上述信息可以看到,科技巨头们对眼动追踪技术都十分青睐,并陆续采纳应用该技术。眼动追踪技术俨然已成为 MR 产品未来发展的方向标。

那么,成为科技巨头 MR 产品新核心的眼动追踪技术,能在元宇宙的未来中开辟一片新蓝海吗 ?

带着问题,本文将通过以下三个方面,来探讨眼动追踪技术:

1. 眼动追踪技术是什么,经历了怎样的发展过程?

2. 发展至今的眼动追踪,目前在各行业体现了哪些价值?

3. 未来,眼动追踪技术将拥有怎样的市场规模和前景?

1

眼动追踪,新时代的读心术

众所周知,大脑是身体的 " 司令部 ",人的记忆、睡眠、运动和语言等都离不开我们大脑的支配。当然,也包括对视觉感官的控制。所以,可以通过监测眼睛的运动情况,来推断出大脑中正在发生的事情。

眼动追踪技术正是基于此理论发展起来。顾名思义,眼动追踪就是监测眼睛运行的过程。眼动追踪最核心的研究:是确定人类或者动物注视的地方,比如实时更新瞳孔和眼球的变化。

试想,如果 MR 设备可以监测眼睛的实时动态,经过系统算法分析,那么就可以反推人的大脑此刻想做什么,也可以以此来为人类提供更多、更快捷的 " 理想化服务 "。

眼动追踪技术,就能通过仪器设备进行数字图像处理,瞳孔定位,获取瞳孔三维坐标,并通过人工智能算法,计算眼睛的注视点,让智能设备知道你正在看什么。

眼动追踪渲染图 来源 / 网络

而眼动追踪技术的发展历史可以分为四个阶段:观察法;机械记录法;光学记录法;现代眼动追踪记录法。其中前三种方法都出现在比较早的 20 世纪,现因各种新技术的发明和运用,这三种都已被市场淘汰。

新世纪,更多精确,更稳定,非侵入式眼动追踪技术被开发出来。目前的眼动追踪方法,主要有角膜反射法、巩膜 - 虹膜边缘法和瞳孔 - 角膜反射向量法。

角膜反射法主要被用于眼动力学和注视点标定等方面,但头部误差较大的缺陷使其很难应用到要求高精度的 MR 产品中。

巩膜 - 虹膜边缘法也是应用于眼动力学和注视点标定方面,这一方法的优势是水平精度较高,但缺点是垂直精度较低、干扰大、头部误差大。

目前整体上最具优势的则是瞳孔 - 角膜反射向量法,也被称为普金野图像跟踪法。这种技术有精度高、非接触、干扰小、无创等优点,这一方法的核心原理是:视线方向由瞳孔中心相对于角膜反射的位置确定。

上 / 图 1 下 / 图 2

如图 1 和图 2 中所示,眼睛通过角膜反射形成特定亮斑,可以由光源和实验者头部的相对位置来确定其位置。如果被试保持头部保持不动,当眼球转动时,角膜反射不会移动,只有瞳孔会移动。图中可以很清晰地看出瞳孔中心与角膜反射变化之间的方位关系。

凭借这一方法带来的高精度和关键数据,目前瞳孔 - 角膜反射向量法也被广泛用于现代的眼动追踪设备中。

而 AR/VR 等元宇宙的入口产品,可以通过以上述方法为代表的眼动追踪技术,采集高精度的关键数据,如时间戳信息、视线落点、眼球位置和瞳孔直径等等。

随后,再通过对上述关键数据的检测及系统分析,产品就可以知道眼睛在看什么,进而解析人的大脑想干什么。

不过,尽管这一技术有发展成为新时代 " 读心术 " 的前置,但即便是目前的发展水平,企业想真正掌握它也非易事。企业不仅需要精通图像视觉,还需要对人体视觉神经和大脑控制等原理有深入研究,这样才能进一步挖掘这一技术的价值,推动实际应用。

2

眼动追踪用在哪儿?

正如前文所说,眼动追踪技术通过对眼睛的状态的实时监测,可以获取眼睛的注视位点,进而推测出大脑的意图。

目前,人们在日常活动中,离不开用嘴去交流,用手去操作。可以预见,当在眼动追踪技术的推动下,眼睛可以替代嘴巴和双手的功能时,许多相关联的行业势必将迎来一场变革。

实际上,近几年眼动追踪技术在各行各业已取得不少突破性进展。无论在混合现实(MR),还是在医疗、汽车、零售、无障碍辅助等领域都有了实际应用的案例。

在 MR 领域,眼动追踪技术正在解决 MR 头显产品被诟病多年的眩晕问题。

此前,多家大厂的多代 MR 头显产品,在用户戴上后,往往会产生一定的眩晕感,这是由于眼睛看到的视频画面,跟身体的感觉不匹配,大脑感到困惑。而大脑的困惑进一步传达到整个身体,让使用 MR 头显产品的用户产生眩晕效果。

眩晕感严重降低了设备的体验感,让许多本打算购买 MR 产品的消费者心存疑虑,更在过去数年里妨碍了 MR 行业的进一步发展。

而眼动追踪技术可以获知人眼的真实注视点,从而得到虚拟物体上视点位置,与人眼日常工作的原理相似。

眼睛注视图(左)和全景图(右)对比 来源 / 网络

因此,眼动追踪技术加持的 AR/VR 产品,相比此前头显,出现眩晕和低沉浸感的问题概率将大幅减小。今年 3 月,就有业内人士提前试玩了搭载眼动追踪技术的索尼 PSVR 2,并表示相比前代在眩晕和画面流畅方面有极大改进,甚至 " 玩完后世界都不同了 "。

带给人们不同于现实世界的沉浸感和体验,正是元宇宙所描绘的美妙未来的源头,在眼动追踪技术的推动下,MR 产品也在为向往元宇宙的人们提供一个更优秀的入口。

但在 MR 产品上的应用,还不只是眼动追踪技术的全部价值全部所在。

在营销领域,通过眼动追踪测量视觉注意力的功能,营销主体可以更精确地对用户行为进行解读。因为眼动追踪技术可以客观监测人们的视觉注意力重点。这对于包装设计,产品布局和商品展示的优化都至关重要。

Pop Tarts Bites 的包装设计正是采用视觉营销的技术,让该品牌的总销售额较之前增长了 18%。

Pop Tarts Bites 包装

在教育培训领域,眼动追踪技术为疫情催生的线上教学模式提供了效果更佳的新思路。

由于疫情被迫采用的线上教学模式,美国医学委员道格拉斯博士以一套 Miya 模型,将眼动追踪技术与实际教学方法相结合,从而在模拟环境中而非在患者身上进行手术教学,并用眼动仪来评估学生的技能水平。

眼动追踪医疗教学 来源 / 网络

而在汽车领域,眼动追踪技术也在识别疲劳驾驶,驾驶注意力不集中等问题上发挥着重要作用。眼动追踪技术可以及时跟踪判断驾驶员的注意力集中情况,连续提醒驾驶员预防疲劳驾驶。

一家名为 Seeing Machines 的公司,也在过去几年里开发了通过眼动追踪技术,人工智能分析头部、脸部和眼睛了解驾驶员实时情况的功能,以此辨别他们在途中的困倦与分心情况。明显降低道路交通事故率。现已为全球上百家车企提供该技术服务。

实时监控眼部状态 来源 / 网络

除了应用于科研和商业领域之外,通过眼动追踪技术的辅助,残障人士也可以用眼睛来操控计算机,以此作为信息输入方式与外界进行沟通。Tobii 公司的眼动追踪设备 TD Pilot,就可以帮助残障人士通过眼球来操作 iPad 上的应用软件,选中目标,甚至通过眼球移动来进行打字和游戏。

Tobii TD Pilot

由此可见,眼动追踪技术已经在多个行业得到实际应用。这一技术的行业价值正在进一步得到凸显。未来,随着 " 可用眼代替手 " 的场景需求日益增多,眼动追踪技术还有更多可以 " 大显身手 " 的地方。

3

元宇宙未来,眼动追踪的蓝海

随着元宇宙概念的发展,现实世界存在的事物将逐步数字化、虚拟化,并将其映射到虚拟世界中。这个 " 虚拟 " 市场在逐步壮大。而 AR/VR 头显等 MR 设备作为虚拟世界的入口,在其中的作用也将举足轻重。

根据中国信通院统计,2020 年全球 VR/AR 市场规模约为 900 亿元,其中 VR 市场规模 620 亿元,AR 市场规模 280 亿元。该机构 2020-2024 五年,预测全球虚拟(增强)现实产业规模年均增长率约为 54%,其中 VR 增速约 45%,AR 增速约 66%,2024 年二者市场规模接近、均达到 2400 亿元。

奇偶派制图

庞大的 MR 市场给了眼动追踪技术快速成长的土壤,根据美国市场调研机构 ABI Research 指出,应用了手势控制与眼动追踪技术的传感器产生的收入将会接近 50 亿美元。

眼动追踪技术作为 MR 设备不可或缺的一环,今后在多方面还有希望实现进一步的突破,这无疑将再度拓展眼动追踪技术在元宇宙的作用。

例如,在如今 MR 头显中的光学系统暂时还未能实现动态聚焦功能,这是因为头显需要一个致动式变焦显示器。但变焦显示器一定得有眼动追踪技术的支持,系统需要准确地知道用户的注视点位置。

但随着眼动追踪技术的进步,未来的 MR 设备有望通过这一技术识别人眼睛焦点的深度变化 , 从而让聚焦也随着变化,也就实现了 MR 设备的动态聚焦。

通过使用 MR 设备中的眼动跟踪信息,设备也可以仅执行 " 中心凹形渲染 ",来渲染被观察环境中的那些元素。这既避免了渲染所需资源过多而导致的 GPU 过载,还能精确地带来更高质量的视觉体验,打造出一个沉浸感更强的元宇宙环境。

此外,眼动追踪对视觉的追踪,也有助于未来特殊 MR 等各类设备对用户意图进行更准确的判断。设备和系统将可以根据用户注视点,来规划用户的下一步行为,并为其营造更贴切的元宇宙世界的各类设定。

而眼动追踪对提高交互效率方面,同样有着很好的应用前景,有了眼动追踪操作速度和精度的加快,用户自身也可以主动利用他们的注视点,更轻松地完成现实世界和虚拟世界中的各类操作任务。

无论是在现实世界的远程手术、远程驾驶等方面,还是在虚拟元宇宙中的各种操作,眼动追踪技术的发展,都将为人类带来更多的便利。

虽然当下眼动追踪市场规模,还无法与 MR 整体市场相比,但它作为 MR、乃至元宇宙设备中的 " 精准手术刀 ",未来注定随着 MR 的发展和元宇宙的进化,获得广阔的发展天地。

正如知名的 Meta 旗下 MR 设备公司 Oculus 创始人 Palmer Luckey 所表示的:" 眼动追踪是虚拟世界的心脏,未来的视觉头显必将都支持眼动追踪技术 "。

作为未来元宇宙世界入口的核心,眼动追踪技术在今后广阔的市场规模中,也注定大有可为。

4

写在最后

随着虚拟现实行业不断的迭代、发展,以及元宇宙概念的兴起,MR 设备被认为是下一代计算平台的说法得到越来越多的认可。

MR 头显也正在朝着更轻、更薄、更便捷的方向发展。根据相关统计,MR 头显预计在 2025 年将销售超过 1 亿台。未来 MR 产业的规模有望超过智能手机,成为人手一台的便携式计算终端。

未来 MR 眼镜 来源网络

可以预见的是,在不久的将来,人类通过 MR 设备上的眼动追踪技术来完成的事情会越来越多。比如创作、设计可以通过眼睛来操纵输入端;医生也可以通过相关智能设备,用眼动控制来完成一场精细化的远程手术。同虚拟世界进行互动也会变得和现在打电话一样简单。

用眼睛控制万物,将不再仅仅是个梦想,而会成为你生活的一部分。未来已来 , 将至已至。眼动追踪技术正解放着人类的双手," 眼控 " 代替 " 手控 " 的时代还会远吗?

关键词

24快报
JSON抓取失败