今年 11 月，NVIDIA 创始人兼首席执行官黄仁勋在一次活动后偶遇了两位正在直播的歌手，黄仁勋加入其中，为她们的音乐喝彩。新的一年将至，以 AI 打造的实时对话 AI 虚拟化身 Toy Jensen 为大家献曲并送上暖心的节日祝福！

创建 Toy Jensen：

NVIDIA Omniverse Avatar Cloud Engine

这段 Toy Jensen 的表演视频展示了 NVIDIA Omniverse Avatar Cloud Engine （ACE） 平台的部分核心技术。Omniverse ACE 是一个云原生 AI 微服务和工作流的集合。开发者可以使用它轻松构建、自定义和部署引人入胜的交互式虚拟形象。

目前市场上的虚拟化身开发工作需要专业的知识、专业的设备以及大量人手。而 Omniverse ACE 则不同，它建立在 NVIDIA 的统一计算框架 （UCF） 基础上，可以使用更少的代码快速创建和配置AI流程。

NVIDIA 技术项目经理 Cyrus Hogg 表示：“这是一项令人惊喜的技术，而我们能够做到这一点也非常了不起。”

Toy Jensen 演唱背后技术揭秘

为了带来一场精彩的表演，NVIDIA 的团队使用最近开发的语音转换模型，从他们提供的样本中提取出专业歌手的声音并将其变成 Toy Jensen 的声音。Toy Jensen 原来的声音是使用数小时的真实录音训练开发而成。这次，团队使用该样本中的音调并将其应用于 Toy Jensen 的数字声音，让虚拟化身以原歌手相同的音调和节奏唱歌。

NVIDIA 的创作团队甚至和曾与 Michael Bublé 和 David Foster 合作过的作曲家兼制作人 Jochem van der Saag 一起为 Toy Jensen 创作了完美的伴奏曲。

NVIDIA 技术项目经理 Cyrus Hogg 表示：“我们请 van der Saag 作曲，并为我们编排这首歌。这很好地弥补了我们团队的不足，我们十分高兴他能够加入。”

虽然将所创建的音乐曲目转换成一个精致的视频只用了几个小时，但 Omniverse ACE 技术背后的团队花了数年时间来开发和调整这段表演中所展示的技术。

Audio2Face 与 Audio2Gesture

实现真实的面部表情和身体动作

NVIDIA 的创作团队使用了 Omniverse ACE，Omniverse Audio2Face 和 Audio2Gesture 技术，仅根据 Toy Jensen 的音频就为这段动画表演生成了逼真的面部表情和身体动作。

ACE 将彻底改变虚拟体验

Toy Jensen 的视频淋漓尽致地展示了 NVIDIA Omniverse ACE 及其如何被应用于各行业的虚拟活动、在线教育和客户服务，并且如何被用于为视频游戏、社交媒体和虚拟现实体验创造个性化的虚拟化身。