在数字化时代，虚拟现实（VR）和增强现实(AR)技术正逐步改变我们的生活和工作方式。设想一下，如果能够创建一个能模仿你每一个动作和表情的3D化身，那是怎样的体验？

由DGIST和Meta公司的Codec Avatars Lab联合研发的ExAvatar，正将这一想象变为现实。这项技术能够通过一段视频捕捉你的全身动作、面部表情甚至手部姿势，并将它们转化为一个栩栩如生的3D数字形象。

ExAvatar的两个创新点:首先，它采用了SMPL-X全身参数化网格模型，精确捕捉和再现人体各种姿势;其次，结合3D高斯溅射技术（3DGS），赋予了ExAvatar更真实和高效的渲染能力。

核心功能:

• 全身3D驱动:支持身体、手和面部的全面动画，生成多种姿势和表情。

• 混合表示法:结合3D高斯和表面网格，确保几何和外观一致性，减少伪影。

• 便捷捕捉:通过短时间手机扫描即可创建3D头像，操作简单。

• 高质量渲染:采用先进算法和技术，实现高质量动态表现和渲染效果。

• 优于现有技术:在自然运动和外观方面超越以往3D头像生成技术，适应更广泛应用场景。

ExAvatar解决了以往技术中的一些难题，如面部表情和姿势的多样性不足，以及缺乏3D扫描和深度图像等观测数据。通过混合表示法，ExAvatar提高了动画的自然度，并减少了在新姿势下可能出现的伪影。

在训练ExAvatar之前，研究团队对身体、手和面部进行了SMPL-X模型的共同配准，并引入了关节偏移量和面部偏移量，优化了手部骨骼长度和面部区域形状，提升了头像的表现能力和自然度。

ExAvatar的技术架构提取了每个高斯的特征，并通过多层感知器（MLP）处理，结合标准网格形成可在标准空间中动画化的3D头像。使用线性混合插值(LBS)算法进行动画处理，并借助3DGS技术将头像渲染到屏幕上，确保了高质量的视觉效果。

ExAvatar的便捷性体现在用户可以通过简单的手机扫描创建3D头像，支持以新颖的身体姿势、手势和面部表情进行动画，并从任何视角进行渲染。这种技术通过混合表示方法，将每个3D高斯视为表面的一个顶点，并且这些顶点之间具有预定义的连接性，与SMPL-X的网格拓扑结构相匹配。

项目地址