数字孪生

技术为先,开普云升级数字人生成运营平台

作为元宇宙率先破圈的赛道,数字人已进入井喷发展阶段。在这百舸争流的新蓝海,每天都有新的应用行业和落地场景涌现。与庞大的市场潜力相对照,数字人真正落地发挥价值时,还面临成本高、效率低、自由度低等诸多难题。

作为元宇宙率先破圈的赛道,数字人已进入井喷发展阶段。在这百舸争流的新蓝海,每天都有新的应用行业和落地场景涌现。与庞大的市场潜力相对照,数字人真正落地发挥价值时,还面临成本高、效率低、自由度低等诸多难题。

作为政务数字人的开创与引领者,开普云致力于为蓝海市场造就大船,人工智能技术是它的引擎,助力客户把数字人的生产周期缩短到小时级别,降低生产成本,并且驱动生成更智慧的内容,满足日益增长的数字人需求。

01

平台大幅降低数字人成本

在行业场景越来越多的情况下,如何快速地生产出数字人?且低成本高效率落地到客户所需的场景?

开普云重点打造了数字人智能生成运营平台,平台基于先进的深度学习技术,利用语音合成、人脸关键点定位与分析、人脸三维重建、跨模态图像动画、生成对抗网络、神经渲染等行业前瞻技术,实现数字人形象自动化构建与智能化驱动的突破与创新,极大简化了传统数字人内容制作过程,使得用户能够“低成本、零门槛、智能化”的生成虚拟数字人,并能够利用虚拟数字人进行“大批量、高效率、自动化”的视频内容生产和运营。

开普云数字人智能生成运营平台可广泛应用于媒体、政府、文旅、展览、金融、保险、电信、零售等多领域的节目制作、培训、讲解等信息传播与服务场景上,通过利用虚拟数字人替代真人,自动化完成大批量、标准化内容生产,从而降低内容生产与服务成本,实现降本增效。

02

筑牢技术底座

构建元宇宙,打造数字人矩阵,建设并夯实“底层基建”是必不可少的,技术上不断创新,让开普云获得了在数字人赛道上的核心竞争力。

开普云数字人智能生成运营平台在数字人驱动方面采用了基于深度神经网络渲染等技术,实现高逼真度的面部表情以及唇部驱动,解决了高写实虚拟数字人面部驱动方面存在的表情僵硬、口型语音不同步等问题。

在通用数字人快速形象构建与驱动技术方面,基于数万分钟多样化真人讲话视频训练了通用数字人语音驱动唇形表情模型,结合自体驱动动画技术,实现了利用数十秒的任意人视频即可进行数字人形象构建,并实时驱动标准化风格的内容生产。

在特定数字人精细形象构建与驱动技术方面,以通用数字人语音驱动唇形表情模型为基础模型,并结合特定数字人的说话视频进行微调训练,使特定数字人的个性特征能够充分表达,实现了利用十余分钟的特定人说话视频进行精细数字人形象构建,并实时驱动进行个性化风格的内容生产。

开普云首席技术官杨春宇表示:“两种技术的核心技术均为音视频映射,这是语音驱动人脸生成的关键。”通过对音频信息进行梅尔倒谱系数(Mel Frequency Cepstral Coefficients,MFCC)等特征提取,利用数据驱动的深度神经网络模型训练,建立音频(语音)与视频(头部关键点或图像)之间的关系模型,找到以语音数据为输入,隐式或显示的操纵头面部关键点的运动,进而生成头面部动画的方式。通过对音视频映射的精细研究,利用视频中的语音内容信息和说话人头面部的运动信息,并结合语音中的重音、情感等因素以及多帧综合的映射分析,生成唇音同步率高,视频质量逼真的头面部动画。

通过综合应用多种前沿技术,有效解决了不同应用场景下对数字人构建效率、成本与质量的差异化需求。

03

平台升级,功能完善

在元宇宙持续火热的当下,开普云不断推进平台优化升级,基于用户的使用场景和底层需求,发布了数字人智能生成运营2.0版平台。

数字人智能生成运营平台V2.0

1

2.0版平台增加了内置推荐数字人功能,包含大量适用于不同场景的精选数字人形象,这些数字人形象以基于生成对抗网络产生的虚拟形象为基础,经由人脸属性编辑模型进行精细调整而成。在平台的后续版本中,将开放数字人形象生成及属性编辑等高级功能,让用户能够自主生成逼真的数字人形象。

2

2.0版平台视频制作功能对形象设置做了优化,可通过拖拽设置数字人形象大小和位置,并在原有的形象、声音、背景、字幕功能设置之外,还增加了图片、视频、音乐、文字等更多样的素材支持,可以通过任意组合,创作出更有创意的播报视频和画中画效果。

3

以用户为中心,共创服务新生态,为给用户更灵活的创作空间,增强兼容性。2.0版平台增加了多片段编辑能力,制作视频如同编辑PPT一样简单,针对不同的片段可以分别进行不同的形象、声音、图片等元素设置,使整个视频生产具有更灵活的创作空间。并上线了开放接口能力,可与内外部合作伙伴的内容管理系统、直播系统、媒体制作系统等做无缝集成,降低了平台学习成本,提高了平台使用的便捷性。

开普云在数字人、元宇宙赛道加快步伐,通过技术迭代更新,简化数字人生产流程,大幅降低数字人的应用门槛和使用成本,实现数字人使用自由,让AI技术更好地服务人类。

24快报
JSON抓取失败