四大 AI 视频工具「斗法」, 一文教你怎么玩_全球资讯热分享网(专注热点收集平台)

四大 AI 视频工具「斗法」, 一文教你怎么玩


四大 AI 视频工具「斗法」, 一文教你怎么玩

  2023-12-16 07:47:52     简体|繁體
https://refenxiang.com/1019007.html

Pick 一个最适合你的 AI 工具。


撰文:木沐


AI 视频工具赛道越来越卷,各种升级令人应接不暇, 尤其是 Gen-2、Pika1.0、Stable Video Diffusion、和 Magic Animate,它们正在成为用户最常用的视频生成产品,背后有强大的 AI 大模型支撑。


尽管目前的视频类大模型还达不到「用文字描述一个故事就能生成一部电影」这么高能,但已经能通过一系列提示词就能创作出一段生动的视频,还发展出图生视频等强大的多模态能力。


《元宇宙日报》测试了四大 AI 视频工具,希望能帮你快速上手体验。需要提醒的是,所有的工具输入提示词时最好使用英文,生成效果会比中文提示要好。在此,我们也希望国产的 AI 视频生成工具能快点赶上,创造出适合中文用户的好产品。


Runway Gen-2


Gen-2 是第一款公开可用的文本生成视频工具,由 Runway Research 开发。它的相关功能,包括文本 / 图像转视频、视频风格化、图像拓展、一键扣除视频背景、抹除视频指定元素、训练特定 AI 模型等,可以说是目前最强的 AI 视频生成 / 编辑工具。


Gen-2 的文本生视频功能相对 Gen-1 已经有了相当大的提升,这里可以看下输入「raccoon play snow ball fight in sunny snow Christmas playground」(浣熊在阳光明媚的雪地圣诞游乐场打雪仗)的生成效果。可以说,无论是画质还是构图,Gen-2 都十分出色。但会出现遗漏关键词的问题,比如画面中没有体现出「圣诞」与「打雪仗」的效果。


就在前几天,Runway 又上线了新功能「Motion Brush」(运动笔刷),我们只需在图像上涂抹一个区域,就能将静态的图像变为动态内容。「运动笔刷」的功能在操作上太友好了,选定一张图片,使用笔刷涂抹想要动起来的区域,再调试好想要大致的运动方向,静止的图片就可以根据预定动起来。



但目前,「运动笔刷」的功能也存在一些不足,比如适合缓慢的移动画面,无法生成类似车辆飞速行驶等快速移动的画面。此外,如果使用运动笔刷,涂抹外的区域都几乎保持静止,无法实现多个物体运动轨迹的微调。


目前,Runway 免费账号只能生成 4 秒时长的视频,每秒需要消耗 5 个积分,最多可以生成 31 个视频,并且不能去除水印。如果你想要更高分辨率、无水印、时长更长的视频,那就需要付费升级一下你的账号。


此外,如果你想学习 AI 视频,可以试试 Runway 推出的电视频道 Runway TV,这里 24 小时循环播放由 AI 制作的视频,通过这些 AI 视频,你或者还能寻找一些创意灵感。


网站定位:https://app.runwayml.com/video-tools/teams/wuxiaohui557/ai-tools/gen-2


Pika 1.0


Pika 1.0 是 Pika Labs 发布的第一个正式版产品,这个实验室是由华人团队创办的 AI 技术初创公司。Pika 1.0 不仅能够生成 3D 动画、动漫、卡通和电影,甚至可以实现风格转换、幕布扩展、视频编辑等重磅能力。Pika 1.0 非常擅长制作动漫风格的画面,可生成电影效果的短视频。


Pika 1.0 最受网友欢迎的小工具当属 「AI 魔法棒」即局部修改功能。放在几个月前,这是 AI 绘画领域才刚刚拥有的能力,现在「局部修改」能够修改视频中所有背景、主体的局部特征,而且实现起来也很便捷,只需要三步:上传动态视频;在 Pika 的控制台内选择要修改的区域;输入提示词,告诉 Pika 你想用什么来代替它。


除了「局部修改」功能,Pika1.0 将文生图工具 Midjourney 具备的「图像拓展」功能带到了视频界,这是视频 AI 生成工具的首次。不同于在抖音上被玩坏的「AI 扩图」,Pika 1.0 的视频拓展相当靠谱,不仅画面自然,而且十分符合逻辑。


目前,Pika1.0 支持用户免费体验,但需要申请试用名额。如果你还在排队的话,可以在官网选择 Discord 登陆看看。与 Midjourney 类似,用户需要在 Discord 进行云端创作,而且可以体验到文本 - 视频、图片 - 视频两大功能。


进入 Pika 1.0 的 Discord 服务器后,点击 Generat 中的任意一个频道,输入「/」,选择「Create」,在弹出的 prompt 文本框中输入提示词即可。



与 Gen-2 相比,Pika 1.0 对提示词的理解更加到位,但在画质还不如 Gen-2,这很可能是因为云创造的缘故。


如果用图片生成视频,则输入「/」后,选择「animate」,上传一张图片,输入提示词说明即可。



Pika 1.0 的图片 - 视频效果与 Gen-2 不相伯仲。


网站定位:https://pika.art/waitlist


Stable Video Diffusion


11 月 22 日 Stability AI 发布了一个 AI 生成视频的开源项目:Stable Video Diffusion(SVD),Stability AI 官方博客显示,全新 SVD 支持文本到视频、图像到视频生成,并且还支持物体从单视角到多视角的转化,也就是 3D 合成。生成效果不亚于 Runway Gen2 和 Pika 1.0。


目前有两种在线使用途径,一个是官方在 replicate 上发布的试玩 demo, 一个是新出的在线网站,两者均免费。


我们测试了第一种,因为它支持参数调整,操作也相对便捷:上传图片,调整帧数、画面纵横比、整体运动等参数即可。但美中不足的是,画面生成效果相对随机,需要不断调试来达到想要的效果。



Stable Video Diffusion 目前只是基础模型,尚未产品化,但官方透露「正计划继续扩展,建立类似于 Stable Diffusion 的生态系统」,计划根据用户对安全和质量的反馈持续改进模型。


网站定位:试玩 demo 版和在线版‍‍‍‍‍

  • https://replicate.com/stability-ai/stable-video-diffusion
  • https://stable-video-diffusion.com/


Magic Animate


MagicAnimate 是一种基于扩散模型的人像动画生成方法,旨在增强时间一致性、保持参考图像的真实性,并提高动画保真度,由新加坡国立大学 Show Lab 和字节跳动联合推出。


简单来说,给定一张参考图像和一个姿态序列(视频),它可以生成一个跟随姿态运动,并保持参考图像身份特征的动画视频。操作也是非常简单,同样只需三步:上传一张静态人物照片;上传想要生成的动作 demo 视频;调整参数。


MagicAnimate 在 GitHub 中也给出了本地体验的方式感兴趣的小伙伴可以试试!


网站定位:https://github.com/magic-research/magic-animate



编辑:web3528btc 来源:加密钱包代币

分享到:

  • 上一篇
    下一篇

  • 分享知识|收获智慧

    全球资讯热分享网(专注热点收集平台)
    手机查看(二维码扫一扫)

    全球资讯热分享网,最有影响力热点信息分类网站,主要集合图文、知识、日常、娱乐、财经、文化、生活、致富、女性、地区、科技等多类信息分享交流,免费提供最有价值的头条信息平台。
    « 2024年 » « 11月 »
    123
    45678910
    11121314151617
    18192021222324
    252627282930