颠覆性技术登场
一句话生成大片
现在做一段大片,不用摄像机、不用租场地、不用找专业人员,就是两句话的事。
今年6月,Runway公司出品的AI视频工具Gen-2,正式开启免费试用。Gen-2的前一代是Gen-1,从名字看Gen-2只是Gen-1的升级,但其实Gen-2在Gen-1的基础上做了颠覆性改变。
Gen-2,真正实现了文字生成视频,只要输入提示词,就可以得到下面这样的视频。
在说Gen-2之前,要先聊聊它的上一代——Gen-1。Gen-1是Runway今年2月推出的视频AI大模型,功能主要包括:
上传视频并投喂一张图片,让视频变成想目标风格(比如下面的图例);
上传视频并输入一段提示词,对视频进行修改(比如上传拉布拉多视频+斑点狗提示词,将视频里的拉布拉多变成斑点狗);
上传3D建模视频并输入图片或提示词,让3D建模视频变完整;
上传随意拍摄的视频,将模型转换成风格化渲染视频(比如拍摄一段书籍竖放视频,渲染成高楼大厦);
上传视频,自定义模型定制想要的视频风格。
Gen-2的跨越是实现了纯文字生成视频,功能包括:
输入文字,根据提示词生成视频;
输入文字并投喂一张图片,根据提示词和图片生成视频;
上传一张图,将图片变成视频。
与Gen-1相比,Gen-2真正实现了视频的“无中生有”。Gen-1功能的实现需要先有一个原始视频,更像是视频处理工具,而Gen-2已经进化为视频创造工具。
Gen-2在今年3月就开始了小规模测试,6月正式开启大范围免费体验。目前在不付费的情况下,用户可以享受105秒试用额度,每个视频4秒,也就是说用户无需付费即可免费体验26个Gen-2视频。
更让我惊喜的是,Gen-2无需海外IP或手机号,大陆用户也可以注册体验,如果有Apple ID,甚至不需要注册就可以直接登录。
登录后我进行了第一次尝试,当我在文本框内输入「赛博朋克风格的城市,电影风格」,几十秒后Gen-2就生成了一段电影感十足的视频。
可以发现,Gen-2生成的画面可看度并不低,只是精细度还存在不足。另外4秒的长度限制,也有些不过瘾。
接下来我进行了第二次测试,这次我的prompt更加丰富,「人类在外太空建造基地,太空中停着宇宙飞船,有科幻感,电影风格」。
这次的画面非常科幻感,很“大场面”,如果忽略画质和细节,说这4秒钟的视频是科幻电影里的片段也不为过。
用户可以通过提示词调整视频内容、风格、光线、景深、色调等等,还可以利用Gen-2文字+图片共同生成视频的能力,更便捷地生成一段风格化视频。例如同样输入「赛博朋克风格的城市,电影风格」,再投喂一张蓝黑色系的夜景街道图。
就得到了一段具有图片风格的赛博风街道视频。
Gen-2让普通人也能用极低的成本,生成属于自己的“大片”。目前国外已经有用户用Gen-2生成了有剧情的故事性短片,在b站上也能搜到类似的网友“作业”。更有机智的用户用ChatGPT写剧本,再去用Gen-2生成视频,拼成完整故事。
今年三月,Runway的宣传文案还是「If you can say it, now you can see it」,到了6月已经变成「If you can imagine it, you can generate it」。只要你能想象出来,Gen-2就能把想象变成画面。
坐上火箭的Runway
说起Gen-2,就不得不说说它背后的Runway。
Runway是一家成立于2018年的年轻公司,打开Runway官网,第一屏有一行大字,「利用人工智能提升创造力」。
Runway一直致力于利用计算机图形学和机器学习的新进展,提高视觉创作效率,把前沿的计算机视觉技术变成可应用的工具。
创立之初,Runway做的是一个关于机器学习模型的应用商店,用户可以在这个商店里使用上百个模型。随着用户和模型目录的增加,Runway团队开始转变方向,致力于构建更多人可以使用的即时视频生成工具。
现在Runway已经形成了一个AI工具工厂,基于新算法陆续发布了30多个 AI工具,除了上面提到的Gen-1和Gen-2,还有展开图像边缘、自动模糊人脸、为黑白图像着色、绿幕修图等一系列图片、视频、音频工具。目前在所有产品中,最核心的就是前面提到的Gen-1和Gen-2。
Runway的AI工具让普通人也能快速完成视觉内容处理,以往专业人员要花费几个小时完成的工作,凭借Runway的工具几分钟就能完成。现在视频是内容媒体非常重要的组成部分,比如国内的快手、抖音,海外的TikTok、YouTube等等,视觉AI产品的推出能够极大程度上提高网络视频的创作效率,同时激发出内容创作者的创造力。
Runway的服务对象除了网络上的普通用户,还包括一些专业的影视工作室和制片公司。
比如扣扣熊主持的《深夜秀》就用过Runway的工具辅助剪辑,根据Runway官网信息,Runway公司的技术能够帮助《深夜秀》将5个小时的工作缩短到5分钟。
同时,Runway也是《瞬息全宇宙》幕后的技术公司,电影里的热狗手、石头对话等场景都用到了Runway的技术。
这部让杨紫琼斩获奥斯卡最佳女主角的科幻电影,背后的视觉效果团队仅有5人。不得不承认,Runway公司的AI技术支持极大提升了电影制作的工作效率。导演兼编剧Evan Halleck 受访时谈道,「仅仅几次点击就让我节省几个小时,我可以用这些时间尝试三四种不同的效果,让影片效果更好。」
可以说,包括Runway在内的AI公司,正在引领影视制作的新时代。
今年2月Gen-1发布后,Runway的发展速度快到仿佛坐上了火箭,不但在短短几个月后就推出了划时代的产品Gen-2,还在今年6月获得了谷歌投资,获得新资金后Runway的估值将达到15亿美元。不到半年时间,Runway的估值整整翻了3倍。
AI“入侵”,人类怕了吗?
人工智能的发展,可能会彻底颠覆包括影视业在内的很多行业。大模型不同于以往任何一个风光一时又转瞬即逝的概念,它很可能推动人类完成一场产业革命。
比如《流浪地球》导演郭帆近期在采访时提到,《流浪地球》第三季如果拍摄的话,至少会减掉一半的人。AI已经大踏步“入侵”影视制作行业,虽然AI还无法完成创新工作,但能够大幅降本增效。
根据媒体的报道,将热门美剧的剧情投喂给AI后,它已经可以续写剧本大纲。当然,虽然AI已经可以应用到影视创作中,但不意味着可以完全替代人类。
生成式AI的应用引发了很多从业人员的不满,今年5月,好莱坞上万名电影和电视编剧罢工走上街头,要求提高薪资,拒绝用自己的作品投喂AI,更拒绝给AI打工。这是2007年来,美国娱乐业第一次出现大规模罢工。
AI到底是和人类争夺未来,还是帮助人类在阵痛中完成产业革命,对这个问题不同人有不同的立场。从个体角度看,很多人已经遭遇来自AI技术的“威胁”。
游戏业已经出现第一批因AI失业的画师。最开始游戏公司只是砍掉了外包,现在连自己人也开始缩减。与此同时,文案人和画师同病相怜,部分对创造力要求不高的文案从业者同样面临失业。
今年4月,知名4A广告公司蓝色光标下发邮件,要求全面停用文案外包,邮件写道,“为了遏制核心能力空心化的势头,也为了给全面拥抱AIGC打下基础,管理层决定无期限全面停止创意设计、方案撰写、文案撰写、短期雇员四类相关外包支出。”
现在这股风正在吹向影视业。导演陆川在接受采访时提到,之前电影的场景设计,要先说、再画、再建模,现在画出来直接把图给Midjourney,就可以自动渲染成立体图。重复工作的提效可以将更多空间留给创新,同时也会挤走原本承担这部分工作的人力。
Gen-2的推出让AI在视觉领域的应用更进了一步,目前依靠Gen-2,普通人也可以做出看起来很厉害的视频,如果未来Runway的技术迭代到Gen-N,ChatGPT迭代到ChatGPT-N,不排除AI自己生成一部电影的可能性。
过去很多人困扰于陷入重复性工作和没有创新的工作,但当AI技术即将替代这些工作时,人类又展现出高度恐慌。这就像是世俗与精神自由中间的冲突,“我不想做无聊的工作,但我需要靠无聊的工作赚钱”。
人工智能将以什么样的形式完成对人类世界的改变,目前难下定论。但能够确定的是,在未来,人的创造力将是最核心的竞争力。目前网上出现这样一种文章,称“GPT-4创造力碾压人类”,但从目前ChatGPT、Gen-2等AI产品的生成结果来看,并没有体现出这一点,AI修炼出“创造力”仍需时间。
乐观地看,从工具性的角度人类或许难以胜过人工智能,但人类有“人性”,会自由思考,有灵光乍现的创造力,这是AI在很长一段时间内难以替代的。
就像AI技术开发公司DGene高级副总裁兼总经理Helena Packer说的,“AI是能将人们从过去受限的表达方式中解放出来,帮助人们表达自我的一种工具。”。
AI技术的进步是为了将人类从某些限制中解放出来,而不是为了打败人类。