走向虚实融合 在 Meta Connect 2022 上，Meta 展示了虚拟和增强现实领域的新研究成果以及脑机接口。 Meta 的研究旨在持续十年或更长时间，并突破当今虚拟现实、增强现实和人工智能等技术的可能性。在 Meta Connect 2022 上，该公司概述了许多领域的研究，从 Meta 的 AR 耳机到神经接口和 3D 扫描，再到逼真的编解码器化身。 增强现实 Metas 的目标是在未来几年推出一款时尚、视觉上吸引人但功能强大的 AR 耳机。由于在小型化、功率、电池容量和余热方面的技术挑战很大，Meta在发展中采取了双重战略。     “眼镜需要相对较小才能看起来和感觉良好。因此，我们正在从两个不同的角度着手打造增强现实眼镜。首先是建立在我们为全 AR 眼镜所需的所有技术之上，然后努力将其融入我们可以做到的最佳眼镜外形中。第二种方法是从理想的外形开始，随着时间的推移将越来越多的技术融入其中，”马克扎克伯格在主题演讲中说。 前者的代号为 Project Nazare，后者是 Meta 与全球最大的眼镜制造商 EssilorLuxottica 的联合项目。这种合作关系已经产生了一种产品：Ray-Ban Stories，它提供了多种智能功能，但没有内置显示器。 在 Meta Connect 2022 上，Meta 和 EssilorLuxottica 对其数据眼镜项目和合作进行了更新： Ray-Ban Stories 将很快获得免提呼叫联系人或通过软件更新发送短信的能力。 另一个新功能是 Spotify Tap。“你只需点击并按住眼镜的一侧来播放 Spotify，如果你想听到不同的声音，再次点击并按住，Spotify 会推荐新的东西，”Meta 写道。 EssilorLuxottica 可穿戴设备负责人 罗科·罗勒 在主题演讲中宣布，他的公司和 Meta 正在开发一款新头显，该头显将打开“通往 Metaverse 的门户”。下一代 Ray-Ban Stories 会配备显示屏吗？扎克伯格和巴西利科对此持开放态度。 Nazare 计划怎么样？ 在 Meta Connect 2021 上，Meta 模拟了通过 Project Nazare 的视图可能会是什么样子。今年，扎克伯格在没有展示的情况下发布了另一款 AR 耳机的预告片。 Meta 的 CEO 带着设备走下走廊，并使用 EMG 腕带控制它。显然，你可以通过 Nazare 项目看到一个视图。 扎克伯格向 Meta 的研究主管 迈克尔·阿布拉什 发送了一条消息并录制了一段视频，两者都使用了微手势。EMG 腕带使这成为可能，该腕带拦截手腕上的运动大脑信号，并在 AI 的帮助下将其转换为计算机命令。Meta 将这种类型的界面视为未来最重要的 AR 操作概念，以及语音控制和手部跟踪。 扎克伯格没有透露 Nazare 计划何时会出现。根据一份报告，Meta 计划在 2024 年推出它，并在 2026 年将其商业化。 神经接口 Meta 研究更新中的另一个区块涉及上述 EMG 腕带。Meta 依靠这项技术和对未来 AR 界面的个性化 AI 支持相结合，识别情境和动作的上下文，并在日常生活中主动支持眼镜佩戴者。这应该能够在人和计算机之间实现直观、无感的界面。     “通过结合机器学习和神经科学，这个未来的界面将适用于不同的人，同时通过一个被称为‘共同适应学习’的过程来解释他们在生理、体型等方面的差异，”Meta 写道。 一段视频说明了这一点。在其中，可以看到两名 Meta 员工通过 EMG 手环和手指的动作玩简单的街机游戏。请注意，它们使用的手势略有不同——人工智能从信号和动作中学习并生成一个单独的模型。 “每次他们中的一个人执行手势时，算法都会适应解释那个人的信号，因此每个人的自然手势都能以高可靠性被快速识别。换句话说，随着时间的推移，系统会更好地理解它们，”Meta 写道。 算法训练得越好，需要移动的手和手指就越少。该系统通过解码手腕上的信号并将其转换为计算机命令来识别人已经决定的动作。 视障人士的 AR 导航 Meta 正在与卡内基梅隆大学 (CMU) 合作开展一项研究项目，以帮助视障人士在复杂的室内环境中导航。     大学研究人员使用 Meta 的 Project Aria 感应眼镜以 3D 方式扫描匹兹堡机场。他们使用这个 3D 环境地图来训练 AI 定位模型。因此，由 CMU 开发的智能手机应用 NavCog 可以通过中继语音指令来引导用户更安全地通过机场。以下视频解释了这项技术。 简单的 3D 扫描 像 Meta Quest Pro 这样的混合现实头戴设备会在头戴设备中显示物理环境。他们还不能扫描对象并将其保存为 3D 模型。如果这是一个选项，则可以将真实对象带入虚拟环境。 “从头开始构建 3D 对象很困难，而使用物理对象作为模板可能更容易、更快。但是今天没有无缝的方法可以做到这一点，所以我们正在研究两种不同的技术来帮助解决这个问题，”Meta 写道。     第一个使用机器学习，简称为神经辐射场或 NeRF，从几张照片中创建一个非常详细的 3D 对象。 第二种技术称为反向渲染。使用这种方法数字化的对象会对 VR 环境中的照明和物理做出动态反应。   这两种技术的一个缺点是它们还不能实时工作。然而，Meta 将它们视为对物理对象进行简单 3D 扫描的重要步骤。 编解码器头像 逼真的数字相遇——对于马克·扎克伯格来说，这是虚拟和增强现实的杀手级应用。 为此，Meta 多年来一直致力于所谓的编解码器化身：在外观上与人类原版几乎没有区别的数字化身。 在 Meta Connect 2021 上，Meta 展示了第二代编解码器头像并展示了全身头像。今年，该技术又有了一次更新。 Codec Avatars 2.0 现在可以在虚拟服装之间切换，并且更具表现力。为了展示改进的表现力，马克扎克伯格用自己制作了一个编解码器化身。以下视频显示了该技术现在的作用。 编解码器化身的营销和盗用的最大问题之一是它们的复杂创建：用户必须在特殊的 3D 工作室中对自己进行扫描。 为了简化个人编解码器头像的生成，Meta 正在开发即时编解码器头像。只需用智能手机对面部进行两分钟扫描即可。 这个过程的缺点是完成的头像看起来不像扎克伯格的那么逼真，而且它仍然需要几个小时才能创建并准备好使用。但是，Meta 正在努力加快这一进程。 Meta 强调，这些项目展示了研究成果，而且这些技术不一定要在产品中找到自己的方式。“不过，这仍然是技术在未来 5 到 10 年内走向何方的一瞥，”Meta 写道。   原文：Tomislav Bezmalinovic 编译：CyberDaily 基于创作共享协议BY-N