近日,阿里通义实验室在3D人体重建领域取得了重大突破,其名为LHM(大型可动画人体重建模型)的创新技术为该领域带来了新的发展方向和应用前景。
从单个图像进行可动画的3D人体重建一直是一个极具挑战性的任务,存在着几何、外观和变形分离的模糊性等问题。当前的研究进展大多集中在静态人体建模方面,这些方法往往依赖于合成的3D扫描进行训练,限制了在实际场景中的泛化能力。同时,基于优化的视频方法不仅要求严格控制捕获条件,而且计算过程极为密集,难以满足实际应用的需求。
针对这些难题,LHM模型应运而生。它采用了多模态变换器架构,结合强大的注意机制,能够有效地对人体位置特征和图像特征进行编码。这一独特的架构使得LHM不仅能够精确地重建人体的几何形状,还能细致保存服装的几何形状和纹理,为用户呈现出更加真实、细腻的3D人体模型。

值得一提的是,LHM还提出了头部特征金字塔编码方案。这个方案通过聚合头部区域的多尺度特征,增强了模型对头部细节的捕捉能力,使得生成的3D人体模型在头部表现上更加逼真。实际应用中,LHM展现出了惊人的效率,短时间内即可生成合理动画的人体,无需复杂的后期处理,大大节省了时间和人力成本。
经过严格的实验验证,LHM在重建精度和泛化能力方面均优于现有方法。无论在复杂场景还是在不同光照条件下,LHM都能稳定输出高质量的3D人体重建结果。
LHM的地址为:https://lingtengqiu.github.io/LHM/。
(注:文中插入的视频和图片是为了更直观地展示LHM模型的效果,但并未在展示的文字内容中。)
发评论,每天都得现金奖励!超多礼品等你来拿
登录 在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则