腾讯最近推出了一项创新项目,名为LVCD(Large Video Color Diffusion),这是一个专门为动画视频线稿上色的小工具。LVCD能够自动将黑白线稿转化为彩色动画视频,带来了一系列突破性的功能。

高效的线条动画视频着色

LVCD 是一种新兴的视频扩散框架,旨在实现基于参考的线条动画视频着色化。与以往仅依赖图像生成模型逐帧为线条图上色的方法不同,该方法利用大规模预训练的视频扩散模型生成色彩丰富的动画视频。这种创新方法不仅能保证更高的时间一致性,还能更有效地处理大幅度运动。

草图引导的ControlNet

LVCD 引入了草图引导的 ControlNet 技术,这为图像到视频的扩散模型提供了额外的控制,使得动画视频的生成可以更好地基于线条图进行调控。这种技术显著提升了动画生成的可控性和质量。

参考注意力机制

LVCD 还提出了参考注意力机制,这一机制能够有效地将参考帧的色彩转移到其他帧,尤其是在快速和大范围运动的场景中。这种特性确保了在动画制作中,即使在复杂运动下也能保持色彩的一致性。

新颖的序列采样技术

在推理阶段,LVCD 采用了一种新的序列采样方案,结合重叠混合模块和先前参考注意力,使得模型能够超越原有的固定长度限制,生成长时间序列的色彩一致动画。这意味着 LVCD 可以处理多种类型的线稿输入,包括手绘线稿和自动生成的线稿,并生成不限长度的长时间视频。

核心功能

基于参考帧的高效线条动画视频着色:LVCD 可以利用参考帧中的颜色信息,将这些颜色准确迁移到其他帧中。

草图引导的 ControlNet:增强动画生成的可控性。

参考注意力机制:确保色彩在快速运动中的一致性。

新颖的序列采样技术:扩展视频生成的时间长度。

显著提升的帧和视频质量:适用于复杂的动画制作场景。

实验结果

LVCD 的实验结果显示,该方法在帧和视频质量以及时间一致性方面显著超越了现有的最先进技术。通过高质量的长时间一致动画生成,LVCD 为动画创作提供了全新的解决方案,使得制作复杂动画变得更加高效和直观。

这项技术的推出标志着腾讯在动画制作领域又迈出了一大步,未来将为动画创作者带来更大的便利和创作自由。

项目地址