应用

MagicWeaver自研3D数字人引擎,提供“元宇宙”数字孪生技术解决方案

「MagicWeaver」构建了独特的混合型的数字人底层架构,以更低成本、更高效率实现系统性、结构化的

“Metaverse”(元宇宙)一词最早来自尼尔·斯蒂芬森的科幻小说《雪崩》,随着2021年首个概念股Roblox成功上市及脸书的更名广泛进入到大众和投资人视野中。作为未来一段时间最可能成为“母生态”的概念之一,目前仍然有众多架构性、基础性技术和应用待进一步开发和落地,其中就包括打造虚拟分身、镜像现实世界的数字孪生技术。 

上海幂维科技有限公司(以下称为「MagicWeaver」)是一家 基于人工智能和计算机图形的数字人创建技术方案研发商, 为企业及个人提供高效、低成本的全方位人体数字化解决方案。 

「MagicWeaver」CEO贾宏愿表示,“在影视领域已经能为主角打造出真假难辨的数字分身(Digital Double),并以此为观众呈现出真人拍摄难以企及的视觉效果,但当前的数字分身实现成本极其高昂,并且依赖特殊的软硬件,无法将这样的技术带给普通大众。我们通过团队在好莱坞电影工业中积累的技术成果,结合在计算机视觉、移动计算、深度学习等领域技术, 打造仅需如手机等简易摄影设备即可实现‘数字人’生成的人工智能引擎 ,便利有需要的商家和个人。” 

「MagicWeaver」基于AI+图形的混合技术架构,融合深度学习和视觉特效图形技术研发了核心算法产品—— 3D数字人引擎 ,通过采集用户的影像数据,该引擎能为用户自动化地创建物理真实的 数字人体系统。 

人体所涉及的结构和数据异常复杂,包括:解剖结构、肌肉形变、交互控制、各类物理特性(如弹性、碰撞)、运动特性、表情、视觉元素(如材质、纹理、光线的反射、折射和散射)等。「MagicWeaver」构建了独特的 混合型“数字人”底层架构以获取、分析及运算相关身体数据 ,能够实现系统性、结构化的“数字人”创建。 

「MagicWeaver」3D数字人引擎技术原理 

与现在行业内常见的人体3D扫描模型不同,「MagicWeaver」的技术所产生的虚拟人物不只是一组只有简单坐标定义的“点云”,而是 与现实中人体自然结构规律自更为接近 ,从内而外,由多层数据模型按不同的结构层次逐一定义而成,描述了人的解剖结构、物理性质等特征信息。因此,这些“数字人”除了拥有大家熟悉的3D人体模型,还有交互和人体仿真功能。此外,在输出数据上也更多元,包括: 精确的 体形数据、 标准化的 人体模型、 肌肉变形信息 等。 

「MagicWeaver」的数字人引擎兼容3种输入影像数据——手机拍照(2D),深度影像(2.5D RGBD)和扫描点云(3D),能 满足各类精度的个人或商业应用场景 。同时,基于隐私保护考量,团队在个人移动设备端App SDK集成了原始照片处理的神经网络,用户的照片仅在自己的手机端短暂存留,手机端处理完成后会将立即从内存中删除。而上传到SaaS系统后进行更精细复杂计算的内容,仅为提取原始抽象数据,没有用户自己的的具体形象和环境信息。 

基于团队的自研引擎,「MagicWeaver」向B端客户提供应用层的底层模块方案,以SDK+SaaS服务模式,为行业客户提供“数字人”技术和相关数据处理分析服务,目前团队已经将基于3D人体数据的应用拓展到了四大商用领域,包括:服装相关的设计(服装CAD数字人台)、制造(定制量身)、消费(线上尺码和款式智能推荐)场景,健身场景(如体型变化分析和体态评估),智能座舱场景及智能镜场景。 

「MagicWeaver」技术在服装电商场景业务流程中的运用 

在市场方面,由于“数字人”技术应用越发受到关注,各细分领域均有相关技术企业的参与,例如针对服装电商提供量身和虚拟试衣技术服务的「Body Labs」与「Fit Analytics」、针对游戏领域虚拟人偶定制服务的「Loom AI」等技术方案商;贾宏愿表示,「MagicWeaver」研发的技术架构具有更强的拓展性,能够实现 除了身体外针对面部等更精细的人体部位行重建,通过完整骨骼数据的绑定能够实现更为真实、准确的人体运动姿态模拟; 同时,由于完全基于个人用户开发的终端应用方案,使得B端更便捷嵌入技术,C端更容易接受和使用相关服务。 

目前,「MagicWeaver」的数字人引擎已成功服务多家B端客户。在 服装品牌 方面,团队服务了包括「ElementPure」、「TYLMEN」、「千誉智能」、「首阅服饰」等企业,提供包括量身技术等方案,为部分客户减少70%的退换货率,同时降低无效备货库存。在 健康领域 ,团队服务了「Level42 AI」等企业,通过自研引擎方案 替代企业原先使用的成本高、耗时长的3D专业扫描仪, 提高企业对客户开展早期疾病诊断服务的效率,且成本仅为前者的5%。「MagicWeaver」还在工业、汽车、运动消费领域服务了包括头部的健身镜、布料模拟、智能座舱等相关企业。 

「MagicWeaver」技术在健身镜场景的运用案例

「MagicWeaver」核心团队来自清华大学,浙江大学和哈尔滨工业大学等知名院校,成员曾分别就职于「高通」、「亚马逊」、「梦工厂」,「DoubleNegative」等知名企业,CEO贾宏愿曾以视觉特效技术总监身份就职于「梦工厂」和多伦多娱乐企业「ToonBox」,具有十年好莱坞从业经验,开发了多套视觉相关技术算法应用。 

「MagicWeaver」于2018年从「PGM System」,「She’s Mine」等投资方获早期的种子融资 ,并于今年在 深圳双创周期间获得“北大汇丰-剑桥嘉治全球创新创业大赛”第一名 ;近期计划开启Pre-A轮的融资,规模在3000-5000万元。 

24快报
JSON抓取失败