Stability AI推出文字转视频模型，曾参与《瞬息全宇宙》特效制作

扫码下载

Runway 是一家研发生成式人工智能技术的初创公司，它在 2022 年共同创建了爆火的文本到图像模型 Stable Diffusion。近日，该公司又发布了一个新的人工智能模型，可以通过文本提示或参考图像指定的任何风格，将现有视频转换为新的视频。

（来源：RUNWAY）

在其网站上发布的演示视频中，Runway 展示了其名为 Gen-1 的软件如何将街道上的行人变成粘土木偶，或者将堆在桌子上的书变成城市景观。Runway 希望 Gen-1 之于视频的价值，就像 Stable Diffusion 之于图像一样。Runway 的 CEO 兼联合创始人克里斯托瓦尔·巴伦苏埃拉（）说：“我们已经看到了图像生成模型的爆发。我相信，2023 年将会是视频之年。”

Runway 成立于 2018 年，多年来一直在开发人工智能视频编辑软件。它的工具被主播、视频博主以及主流电影和电视工作室使用。一些电视节目使用 Runway 软件编辑图像；电影《瞬息全宇宙》背后的视觉效果团队同时使用了该公司的技术来帮助创建某些场景。

2021 年，Runway 与德国慕尼黑大学的研究人员合作，构建了第一个版本的 Stable Diffusion。英国初创公司 Stability AI 随后介入，提供了在更多数据上训练模型所需的计算资源和资金。2022 年，Stability AI 公司将 Stable Diffusion 模型带进大众的视野，将其从研究项目转变为社交平台上的热门话题。

但现在这两家公司已不再合作。Getty 现在正在对 Stability AI 采取法律行动——声称该公司在未经允许的情况下使用了 Getty 的图像，它出现在 Stable Diffusion 模型的训练数据中——而 Runway 公司希望与之保持距离。

Gen-1 代表了 Runway 公司的一个新起点。在 2022 年底，谷歌和 Meta 都推出过文本到视频的模型，他们都可以从零开始生成非常短的视频片段。它也类似于谷歌最近发布的生成式人工智能 Dreamix，可以通过应用特定的风格从现有的视频中创建新的视频。

不过从 Runway 的演示视频来看，Gen-1 似乎在视频质量方面更胜一筹。因为它可以转换现有的视频片段，所以它可以产生比以前大多数模型生产的长得多的视频。该公司表示，将在未来几天里在其官网上发布有关 Gen-1 产品的技术细节。

与 Meta 和谷歌不同，Runway 在建造模型时考虑了客户。说：“这是第一批与视频制作者社区密切开发的模型之一。它基于我们对电影制作人和视频特效编辑是如何进行后期制作的了解。”

Gen-1 通过 Runway 的网站在云端运行，首先将向少数被邀请的用户开放，并将在几周内向候补名单上的所有人开放。

2022 年，生成式人工智能的爆炸式增长吸引了数百万人，他们第一次获得了强大的创意工具。很快，社交平台上就充满了他们分享的成果。巴伦祖埃拉希望，将 Gen-1 交到创意专业人士手中，将很快对视频制作领域产生类似的影响。

他说：“我们已经非常接近于制作完整的故事片了。有一天，你在网上看到的大部分视频内容，可能都是（用类似方法）生成的。”

支持：Ren

原文：

https://www.technologyreview.com/2023/02/06/1067897/runway-stable-diffusion-gen-1-generative-ai-for-video/