谷歌研究院最近推出了一项名为ReCapture的全新技术,这项技术可以让你从全新的视角重新体验你自己的视频。ReCapture技术可以根据用户提供的视频,生成一个带有自定义摄像机轨迹的新版本,这意味着你可以从原本视频中没有的视角观看视频内容,并且还能保持视频中人物和场景的原始运动。

ReCapture 就像是一位神奇的剪辑师,可以根据你提供的视频,生成一个带有全新视角的新版本。 比如说,你用手机拍了一段狗狗玩耍的视频,ReCapture 可以帮你生成一段从狗狗视角拍摄的视频,是不是很神奇?

那么, ReCapture 究竟是如何实现这种“魔法”的呢? 其实,它背后的原理并不复杂。它首先会利用多视角扩散模型或点云渲染技术,根据你想要的新视角,生成一个粗略的视频。 这个粗略视频就像是一块未经雕琢的璞玉,画面可能不完整,时间也不连贯,就像喝醉了酒一样摇摇晃晃。

让大象转身!谷歌黑科技 ReCapture:可一键生成“多机位”视频大片

接下来,ReCapture 会祭出它的秘密武器——“遮罩视频微调”技术,对这个粗略视频进行“精雕细琢”。 这个技术就像是一位技艺高超的工匠,会用两种特殊的工具——空间 LoRA 和时间 LoRA,对视频进行修复和优化。 空间 LoRA 就像是一位“美容师”,负责学习原始视频中的人物和场景信息,让画面更加清晰美观。 而时间 LoRA 则是一位“节奏大师”,负责学习新视角下的场景运动,让视频播放更加流畅自然。

让大象转身!谷歌黑科技 ReCapture:可一键生成“多机位”视频大片

经过这两位“大师”的联手打造,粗略视频摇身一变,变成了一个清晰、连贯、充满动感的全新视频。 不仅如此,为了让视频效果更加完美,ReCapture 还会使用 SDEdit 技术对视频进行最后的润色,就像化妆一样,让视频更加精致细腻。

谷歌的研究人员表示,ReCapture 不需要大量的训练数据,就可以处理各种类型的视频和视角转换。 这意味着,即使你只是一个普通的视频爱好者,也可以用 ReCapture 轻松制作出专业级的“多机位”视频。

项目地址