Runway!AI技术+视频制作的新一代视频内容生成工具
大家好,这里是和你们聊设计的花生~
之前和大家聊过不少 AI 图像生成工具,有的可以根据文本生成图像,有的则是将 AI 技术运用到图像处理中,让扣除背景、消除画面元素成为非常轻松快速的事情,大大提升了设计师的工作效率。既然 AI 技术在图片处理的应用上如此成熟,那如果用到视频的剪辑制作上会有什么效果呢?
Runway 官网: https://runwayml.com/
借助 AI 技术的快速消除图像内容
比如在视频里实现一键抠图,将人物从背景中分离出来,进行背景更换或者插入文字图层:
或者在视频里实现快速修图,用画笔一抹,就能去除视频中不需要的部分:
甚至在视频里也用上 Ai 生成性技术,输入一段话,就能将原来的物体变成另一个新的物体:
其实这些 AI 技术在视频制作中应用的并非想象,也不是特效,而是真的有公司将其变为了现实。下面就是“一键去除画面元素”技术在视频制作中的实现过程:
在线视频制作工具 Runway 的操作界面
这些神奇的视频处理功能都是一家名为 Runway 的公司开发的。Runway 是国外一家在线视频剪辑制作网站,成立于 2018 年。它有非常完善的在线视频处理技术,更重要的是公司团队一直在积极地将生成性 AI 技术应用到视频内容制作中,致力于降低视频创作的门槛,帮助人们轻松制作出内容强大且富有创意的视频内容。
Runway 官网: https://runwayml.com/
Runway 官网展示的 30 多个 AI 魔法工具
Runway 目前已经开发了 30 多个 AI 魔法工具,其中一部分是将 AI 图像生成技术内置。比如我们熟悉的根据文本生成图像、根据图像生成风格化变体、图像延展外绘、根据文本生成 3D 贴图纹理、视频局部无损放大等技术,在 Runway 内都可以实现。
Runway 内置的图像无限外延功能
另一部分则是令人惊喜的视频处理魔法,除了我们前面提到的 3 种功能,Runway 还开发了包括动态追踪,智能调色、智能慢镜头、平滑插帧及一键模糊人脸等功能。
“动态追踪”即通过 AI 技术识别视频中物体的运动轨迹,然后为其附上文字或者其他元素,这些元素会自动跟随物体一起运动,不用手动设置轨迹。
“智能调色”功能利用 AI 技术自动分析画面的色彩等级,然后依据文本描述的内容对视频相应的色调调整,处理速度很快,上色效果也非常和谐。
除了视频处理工具,Runway 也将 AI 技术与音频处理结合起来,开发出了自动生成文字稿、一键去除空白音频及智能去除背景杂音等工具。Runway 的研究团队目前还在开发一种名为 Soundify 的音效系统,该系统利用 AI 技术先识别视频内容,然后为之生成准确高质量的音频,且自动对齐音频与视频的进度,以解决传统视频制作过程中寻找合适音频困难、精准对齐音频与视频耗时的问题。
Runway 的野心当然不止于此。有了图像、视频与音频等一系列 AI 工具作为基础,Runway 还推出了 "文本生成视频 "技术并发布了一段演示视频。
从视频中可以看出,Runway 的 "文本生成视频 "技术包括:通过输入文本指令实现导入视频素材、调色及消除视频中的选中对象;通过文本生成各种图像;通过文本描述添加文字及动效、扣取人物及替换背景等。我们也可以看出视频当中的很多功能都是我们前面介绍过的。
目前 "文本生成视频 "技术还没有公开,想体验的小伙伴可以申请加入等待名单: https://runwayml.com/text-to-video/
当然了,这么好的工具肯定不是免费的。新用户注册 runway 后可以享受 3 次免费的视频制作额度,但 30 多项 AI 工具只能使用其中 3 个,并且只能导出 720P 的视频文件。对国内用户来说需要搭梯子才能只用,并且最好使用 Chrome 或 Edge 浏览器打开,不然容易崩溃。所以目前只能期待国内的视频制作软件可以努努力,早日推出与 runway 类似的功能。
此外 Runway 还举办了首届 AI 电影节,号召全球艺术家使用最新的 AI 技术制作 1-10 分钟的创意影片,优胜者将获得最高 10000 美元的奖励。目前电影节正处于接受投稿的阶段,最终获奖结果会在 2 月份公布,到时候再和大家一起看看有哪些有意思的作品。
AI 电影节官网: https://aiff.runwayml.com/
Runway 的 AI 电影节官网公布的 AI 影片片段
以上就是为今天和大家分享的有关 AI 技术在视频制作中应用,大家对此有什么看法和期待呢?欢迎在评论区分享。喜欢本期推荐的话记得点赞收藏,也可以转发给身边有需要朋友 。如果你有关于本文或者设计的疑问,可以在评论区提出,我会第一时间为大家解答 ~
推荐阅读:
Google、Meta又放大招!用嘴做视频的时代也要来了
大家好,这里是和你们聊设计的花生~
近段时间 AI 工具发展势头越发迅猛,在为大家介绍过的 AI 模型中,DALLE·2 和 Midjourney 在文本生成图像的质量和精准度上有了大幅度优化提升,后起之秀 Stable Diffusion 则将 AI 模型的操作门槛降低到普通人都能轻
阅读文章 >
2023年,让这20款AI工具帮你更高效地完成工作~
2023年,让这20款AI工具帮你更高效的完成工作~
大家好,这里是和你们聊设计的花生~
2022年是AI技术大发展的一年,我都快记不清为大家推荐多少种AI工具了。
阅读文章 >