PIKA正式上线唇形同步 - 给AI视频注入新的想象
热搜大全 2024-02-28
本来又准备睡了 ... 但是好死不死的，睡前又看了一眼几家 AI 产品的更新动态 ...
然后 ...
PIKA 在沉寂了 3 个月后，终于又更新了 ...
没有去卷模型，没有去卷控制，而是继续奔赴他们 1.0 最开始所设定的目标：
对话。
PIKA 的模型，有一个跟所有的其他 AI 视频产品都不同的地方在于。
当你生成人物的时候，大概率会说话，也就是唇形会动起来，模拟人物正在对话的感觉。
PIKA 认为，这样的效果，才能更符合真正的 " 短片 " 效果，毕竟，一个短片，想要好看，人与人之间的对话那是必不可少的。
对话才有戏，冲突才有张力。
而如果是传统的 Runway 等等，做的镜头，都是空镜，对话很多时候都只能以旁白的形式去做。那样，观众在看片子的时候，沉浸感会大幅降低。
但是去年 PIKA1.0 上线的时候，其实是并没有跟语音打通的，意思是说，你只能跑出一个正在瞎特么动的嘴，但是没有声音。
声音你需要自己去 11Labs 或者魔音工坊里面跑。然后用剪映啥的，把你跑的语音和 AI 片段拼起来。
但是这就有一个问题是：唇形和发音，是不匹配的。
所以 PIKA 做唇形同步，是绝对的情理之中，他们一定会做，且必做。
这不，就来了。先看一眼 PIKA 的新预告片吧。
不过 PIKA 的预告片 ... 你懂的。
还是得自己亲自上手试一下。
正好这个唇形同步，也对超级合作者开放了，于是，我就来测一下。
进入 PIKA 首页，传一段视频或者传一张图片后，你就能看到这么一个功能：
这个就是唇形驱动。
点开以后，就能看到语音制作区域。
PIKA 也跟 11Labs 合作了，把 11Labs 的 TTS 给拿了过来，上面的区域就可以选择特定的发音人，然后输入文字，变成语音。
当然，你也可以上传你自己的音频。
我还是习惯自己用 11Labs 或者魔音工坊跑音频出来，毕竟那两个玩意的可用性高一点。
传上去以后，就可以开始合成了。
我大概跑了几十个 case，从 1/2 正面，测到 1/5 正面，从正脸测到侧脸，从写实跑到 2D，从图片跑到视频 ... 也算了测了个遍
先看几个我觉得效果还不错的例子：
但是还有很多，是 Bad case。
整体上我实验下来，我更建议是先用文 / 图生成视频后，用视频再去进行唇形同步，而不是直接用图进行唇形同步。
因为两者效果大差不差，而用视频驱动的话，还能实现一些大运镜或者变动的背景。
PIKA 上唇形同步，想象力一定是非常强的，因为不管是 Heygen 或者奇妙元，能做的都是静态的照片说话，在效果上，有一定的局限性，因为背景不会动。
比如很久之前我用奇妙元弄的这个特朗普。
而 PIKA 自身的 AI 视频再加上唇形同步，会做出一些以前实现起来非常复杂但是很有戏的效果，能给 AI 视频，带来一些新的想象力。
但是在唇形同步的效果上，坦率的讲，跟 Heygen 和奇妙元相比，还有一定的距离要走。
比如只支持正脸，侧脸一些就会崩。
比如面部有一些遮挡物的时候，就识别出错。
比如有一些背景人脸的时候，会一起识别出来。
比如唇部经常在抖不够稳定。
比如有时候唇部会糊。
等等。
但是毕竟 PIKA 这次的更新，还是 Test 版本，还没有向大众公开。
还有非常大的优化空间。
想想 MJ 的 V1 时刻，对吧。
我很期待 PIKA 后续在唇形同步上的优化，给 AI 视频，注入一些新的活力。
不过，我怎么有一种感觉。
11Labs，这个做 AI 配音的，反而是最大的赢家呢。。。
