善绍奢侈品网

Pika放大招:今天起,***和音效可以“一锅出”了!

  量子位 | 公众号 QbitAI

  就在刚刚,Pika发布了一项新功能:

Pika放大招:今天起,视频和音效可以“一锅出”了!

  生成的方式有两种:

  并且Pika非常自信地说到:“如果你觉得音效听起来很棒,那是因为它确实如此”。

  话不多说,我们直接来听一下。

  【效果见:***s://mp.weixin.qq***/s/E0FF4ZAViTrWdq7R2bQTCg】

  车鸣声、广播声、鹰叫声、刀剑声、欢呼声……可谓是声声不息,并且从效果上来看,也是高度与***画面匹配。

  不仅是发布的宣传片,Pika***现在也放出了多个demo。

  例如无需任何prompt,AI只是看了眼烤培根的***,便可以配出毫无违和感的音效:

  【效果见:***s://mp.weixin.qq***/s/E0FF4ZAViTrWdq7R2bQTCg】

  再如给一句prompt:

  Pika便可以在生成***的同时配上声音,从效果中不难看出,烟花绽放的瞬间,声音卡点也是相当的精准:

  【效果见:***s://mp.weixin.qq***/s/E0FF4ZAViTrWdq7R2bQTCg】

  大周末的发布这样一个新功能,网友们在高呼Pika“够卷、够Awesome”的同时,也有人认为:

Pika放大招:今天起,视频和音效可以“一锅出”了!

  那么Pika的Sound Effects具体要如何操作,我们继续往下看。

Pika放大招:今天起,视频和音效可以“一锅出”了!

  Pika给***生成音效的操作也是极!其!简!单!

  例如只需一句prompt,***和音效就能“一锅出”:

Pika放大招:今天起,视频和音效可以“一锅出”了!

  相比于此前生成***的操作,现在只需开启下方“Sound effects”按钮即可。

  让我们听一下生成效果:

  【效果见:***s://mp.weixin.qq***/s/E0FF4ZAViTrWdq7R2bQTCg】

  第二种操作方式,就是在生成了***过后,可以单独给它配音。

  例如在下面这个***,点击下方的“Edit”,再选择“Sound Effects”:

Pika放大招:今天起,视频和音效可以“一锅出”了!

  然后可以描述一下自己想要的声音,例如:

  然后短短几秒后,Pika就可以根据描述和***生成音效,而且还是6种声音可选的那种!

  【效果见:***s://mp.weixin.qq***/s/E0FF4ZAViTrWdq7R2bQTCg】

  值得一提的是,Sound Effects功能目前只对超级合作者(Super Collaborator)和Pro用户开放测试。

  不过Pika也表示:“我们很快就会向所有用户推出该功能!”

Pika放大招:今天起,视频和音效可以“一锅出”了!

  然后现在已经有一批网友在开始测试这个Beta版本了,并且表示:

  【效果见:***s://mp.weixin.qq***/s/E0FF4ZAViTrWdq7R2bQTCg】

  再如“壁炉里火焰的声音”,是这样的:

  【效果见:***s://mp.weixin.qq***/s/E0FF4ZAViTrWdq7R2bQTCg】

  这位网友还用了额外的工具,在Pika生成效果的基础上,还让***里的人物开口说话:

  【效果见:***s://mp.weixin.qq***/s/E0FF4ZAViTrWdq7R2bQTCg】

  想要尝鲜Pika新功能的小伙伴,可以蹲一波Sound Effects的全面开放了。

  至于Sound Effects背后的原理,虽然Pika此次并没有公开,但在此前Sora大火之后,语音初创公司ElevenLabs就出过类似的配音功能。

  当时,英伟达高级科学家Jim Fan就对此做过较为深入的分析。

  他认为,AI学习准确的***到音频映射还需要对潜在空间中的一些“隐式”物理进行建模。

Pika放大招:今天起,视频和音效可以“一锅出”了!

  他详细说明了端到端Transformer在模拟声波时需要解决的问题:

  所有这些都不是显式的模块,而是通过大量的(***,音频)对的梯度下降学习来实现的,这些***和音频对在大多数互联网***中自然地时间对齐。注意力层将在它们的权重中实现这些算法,以满足扩散目标。

  除此之外,Jim Fan当时表示英伟达的相关工作并没有这样高质量的AI音频引擎,不过他推荐了一篇MIT五年前的论文The Sound of Pixels:

Pika放大招:今天起,视频和音效可以“一锅出”了!

  感兴趣的小伙伴可以戳文末链接详细了解一下。

  在多模态这件事上,LeCun在最新访谈中的观点也很火爆,他认为:

Pika放大招:今天起,视频和音效可以“一锅出”了!

  因此,LeCun总结到:

  那么,你赞成这种观点吗?

  参考链接:

  [1]***s://twitter***/pika_labs/status/1766554610188095642

  [2]***s://***.******/watch?v=WirmtLi47q4

  [3]***s://pika.art/home

  [4]***s://***.******/watch?v=5t1vTLU7s40

  [5]***s://twitter***/DrJim Fan/status/1759287778268025177

  [6]***://sound-of-pixels.csail.mit.edu/

[免责声明]本文来源于网络,不代表本站立场,如转载内容涉及版权等问题,请联系邮箱:83115484@qq.com,我们会予以删除相关文章,保证您的权利。 转载请注明出处:http://www.bzrqpzl.cn/post/48609.html

分享:
扫描分享到社交APP
上一篇
下一篇