产业

上海 AI 实验室与 Meta 合作推出为人体生成 3D 空间音频的开源模型

该模型通过处理头戴式麦克风的输入音频信号和分析人体姿态关键点,成功地实现了为人体生成 3D 空间音频的目标。

近日,上海 AI 实验室与 Meta 合作推出为人体生成 3D 空间音频的开源模型。

该模型通过处理头戴式麦克风的输入音频信号和分析人体姿态关键点,成功地实现了为人体生成 3D 空间音频的目标。

这一技术突破为虚拟环境的沉浸感和临场感提供了关键支持,弥补了目前学术界和企业在听觉方面的疏漏。

目前,该模型仅适用于渲染人体音,难以处理非自由音场传播环境,且计算量较大,难以在资源受限的消费类设备上部署。

24快报
元宇宙的喜与忧
2024年2月23日 10:28
JSON抓取失败