在数字化时代,虚拟现实(VR)和增强现实(AR)技术正逐步改变我们的生活和工作方式。设想一下,如果能够创建一个能模仿你每一个动作和表情的3D化身,那是怎样的体验?
由DGIST和Meta公司的Codec Avatars Lab联合研发的ExAvatar,正将这一想象变为现实。这项技术能够通过一段视频捕捉你的全身动作、面部表情甚至手部姿势,并将它们转化为一个栩栩如生的3D数字形象。
ExAvatar的两个创新点:首先,它采用了SMPL-X全身参数化网格模型,精确捕捉和再现人体各种姿势;其次,结合3D高斯溅射技术(3DGS),赋予了ExAvatar更真实和高效的渲染能力。
核心功能:
全身3D驱动:支持身体、手和面部的全面动画,生成多种姿势和表情。
混合表示法:结合3D高斯和表面网格,确保几何和外观一致性,减少伪影。
便捷捕捉:通过短时间手机扫描即可创建3D头像,操作简单。
高质量渲染:采用先进算法和技术,实现高质量动态表现和渲染效果。
优于现有技术:在自然运动和外观方面超越以往3D头像生成技术,适应更广泛应用场景。
ExAvatar解决了以往技术中的一些难题,如面部表情和姿势的多样性不足,以及缺乏3D扫描和深度图像等观测数据。通过混合表示法,ExAvatar提高了动画的自然度,并减少了在新姿势下可能出现的伪影。
在训练ExAvatar之前,研究团队对身体、手和面部进行了SMPL-X模型的共同配准,并引入了关节偏移量和面部偏移量,优化了手部骨骼长度和面部区域形状,提升了头像的表现能力和自然度。
ExAvatar的技术架构提取了每个高斯的特征,并通过多层感知器(MLP)处理,结合标准网格形成可在标准空间中动画化的3D头像。使用线性混合插值(LBS)算法进行动画处理,并借助3DGS技术将头像渲染到屏幕上,确保了高质量的视觉效果。
ExAvatar的便捷性体现在用户可以通过简单的手机扫描创建3D头像,支持以新颖的身体姿势、手势和面部表情进行动画,并从任何视角进行渲染。这种技术通过混合表示方法,将每个3D高斯视为表面的一个顶点,并且这些顶点之间具有预定义的连接性,与SMPL-X的网格拓扑结构相匹配。
项目地址
发评论,每天都得现金奖励!超多礼品等你来拿
登录 在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则