人工智能技术公司 Sync Labs 近日通过 Twitter 宣布推出其最新产品 Lipsync-2,这款模型被誉为“全球首个零-shot嘴型同步模型”,无需额外训练或微调即可保留演讲者的独特风格。这一突破性技术在真实感、表现力、控制力、质量和速度方面均实现了显著提升,适用于真人视频、动画以及AI生成的内容。

Sync Labs 发布 Lipsync-2:全球首个零-shot的嘴型同步模型

Lipsync-2的创新特性

根据 Sync Labs 在4月1日发布的 Twitter 消息,Lipsync-2的核心亮点在于其“零-shot”能力,即无需针对特定演讲者进行预训练,模型便可即时学习并生成符合其独特说话风格的嘴型同步效果。这一特性颠覆了传统嘴型同步技术对大量训练数据的需求,使得内容创作者能够更高效地应用该技术。

此外,Sync Labs 还透露,Lipsync-2在多个维度上实现了技术飞跃。无论是真人视频、动画角色,还是AI生成的人物,Lipsync-2都能提供更高的真实感和表现力。

新增控制功能:温度参数

除了零-shot能力,Lipsync-2引入了一项名为“温度”(temperature)的控制功能。这一参数允许用户调节嘴型同步的表现程度,从简洁自然的同步效果到更具夸张表现力的生成效果,满足不同场景的需求。目前,这一功能处于私人测试阶段,仅逐步向付费用户开放。

应用前景:多语言教育与内容创作

Sync Labs 在4月3日的 Twitter 帖子中进一步展示了 Lipsync-2的潜在应用场景,称其“在准确性、风格和表现力上表现出色”,并提出“让每场讲座都能以每种语言呈现”的愿景。这一技术不仅可用于视频翻译和字级编辑,还能助力角色重新动画化,甚至支持逼真的AI用户生成内容(UGC),为教育、娱乐和营销领域带来革命性变化。

行业反响与未来期待

Lipsync-2的发布迅速引发了行业关注。Sync Labs 表示,该模型已在 fal 平台上开放体验,用户可通过访问 fal 的模型库一探究竟。自4月1日宣布以来,Twitter 上关于 Lipsync-2的讨论持续升温,许多用户对其跨领域应用的潜力表示期待。

作为人工智能视频技术的先锋企业,Sync Labs 通过 Lipsync-2再次证明了其在创新领域的领导地位。随着该技术的逐步推广,内容创作的门槛或将进一步降低,而观众也将享受到更加自然、沉浸式的视听体验。