Sora漫步街头的女人可以跳舞啦!科目三蹦迪多种舞姿停不下来,可精准控制动作。
目前VIGGLE在Discord可免费使用,赶紧去体验吧~
一、VIGGLE是什么?
VIGGLE是一款基于JST-1技术的可控视频生成平台,使用户能够创建和控制3D角色的动作。用户可以根据自己的意愿让任何角色进行移动和动作,而不仅仅是局限于预设的动画或动作。这种技术的应用可能会在游戏开发、动画制作、虚拟现实(VR)和增强现实(AR)等领域提供更多的可能性,允许开发者和内容创作者以新的方式与3D角色互动和创作。
Viggle AI是一款基于骨骼动画的AI工具,它能够将图片转换成一致性的角色动画,为用户提供了便捷的视频生成解决方案。
Viggle ai是一款突破性的图片生成动画的AI视频生成器,专门从事以角色为中心的视频创建。 Viggle 简化了动画流程,让每个人都可以在短短几分钟内创建一致且引人入胜的角色视频。体验 Viggle 轻松讲故事的力量,每一秒都至关重要,让您的角色栩栩如生!
二、VIGGLE的网站地址:
1、官网地址:
2、Discord频道:
三、VIGGLE的主要功能:
VIGGLE平台提供了五种不同的功能,具体使用步骤如下:
1、图像+视频生成动态 /Mix
用户可以先上传一个视频和一张角色图像,Viggle 会自动将视频的动态赋予给这个角色,形成一段新视频。而且 Viggle 并非只能生成简单的正面动作, 它能模拟出角色的 3D 状态,这样即使原视频中有身体旋转、四肢交叠等动作,Viggle 也能准确进行还原处理。
- 上传一张清晰的人物图像。
- 上传一个包含明确动作的视频。
- 将人物图像混合到视频中,使其动起来。
在 Discord 社区中进入任意 animate 频道,输入 /mix,然后在弹出的文件框中上传你的图像和视频。图像人物要清晰,最好是全身正面照;视频大小小于 25MB,分辨率高于 720p;还可以设置背景颜色(白色/绿色),以及开启 finetune 微调。
2、图像+文本生成动态 /Animate
我们也可以直接用文本提示让 Viggle 生成指定动作,这样就可以省去找视频素材的时间。
- 上传一张清晰的人物图像。
- 描述你希望角色执行的动作(或者从VIGGLE网站选择一个动作模板)。
- 使静态角色根据文本动作提示动起来。
动态提示词可以自己写,也可以参考 Viggle 官网首页提供的提示词模板,进入 「Prompt」版块就能看到。里面 100 多种动态提示词,包含跳舞、行走、跑步等各种类型的姿势动态,可以直接复制使用。
进入 Discord 后,输入命令 /animate,然后在文件框内上传准备好的图像,再填写动态提示词,设置好背景颜色,按 Enter 发送生成就可以了。
3、文本/图像直接生成动态角色 /Ideate
- 描述你想创造的角色。
- 描述你希望角色执行的动作(或者从VIGGLE网站选择一个动作模板)。
- 纯粹从文本创建一个角色视频。
使用时提示词会分为两部分,在 image_prompt 处输入人物描述,比如 “ A man wearing a black combat outfit ”,然后在 motion_prompt 处输入有关动作的描述词,比如 "$wave_arms_excitedly”,设置好背景颜色,按 Enter 发送即可。
4、人物角色生成 /Character
支持先生成人物图像,再通过文本提示对其添加动态。我们可以筛选确定好人物形象后再加动态,避免出现文本直接生成后发现效果不好的情况。
- 描述你想创造的角色。
- 从四个结果中选择一张图片。
- 描述你希望角色执行的动作(或者从VIGGLE网站选择一个动作模板)。
- 通过文本提示创建并动画化角色。
5、生成风格化人物 /Stylize
Viggle 还支持对真人照片进行风格化,再添加动效,来得到更多样化的视频效果。
- 上传一张清晰的人物图像。
- 描述你希望改变的角色样式。
- 从四个结果中选择一张图片。
- 描述你希望角色执行的动作(或者从VIGGLE网站选择一个动作模板)。
- 根据文本提示重新设计并动画化角色。
此功能可以通过 /stylize 命令来实现。输入命令后,上传一张人物的照片,在提示词中描述你想要转换的风格,比如 “3D pixar”,然后发送出去。等新的图像完成后,挑选一张你喜欢的添加动态就可以。
四、VIGGLE的案例演示:
下面是一个 ViggleAI 测试教学流程!结合市面主流AI工具组合案例,ViggleAI完成人物角色替换,AI虚拟人新闻主播实操案例,效果相当不错~
注意:Brielle 是一个虚拟内容创作的角色。
- 在帖子中包含了pexels 的视频素材(包括原始素材)。
- 使用 Runway 的修补功能将原始演员移除,以便将原始视频作为背景。
- 从 Pexels 视频中提取一个静止画面,并请 midjourney 描述场景,以便生成角色的图像,使其与视频的外观和感觉相同。
- 将这个描述导入 LeonardoAi,使用边缘到图像引导生成了一张新的 Brielle 图像,使其姿势类似于 Pexels 视频中的演员。
- 将 Leonardo 的图像输出与原始 Pexels 视频一起用于 ViggleAI。输出使用了“mix”选项,并打开了“finetune”。
- 使用 SyncLabs对 Viggle 输出和之前为 True Crime AI 制作的旧语音文件进行了唇语同步。
- 顺便说一句,今天 Runway 和 Pika 的唇语同步在这个项目上的效果真的一般般!
- 最后在 topazlabs 中对这个同步视频进行了画质放大处理。
- 在 Capcut(剪映) 中将所有内容整合在一起,包括一点声音设计、色彩校正以及一些效果和图形来掩盖瑕疵。
五、VIGGLE的产品价格:
目前Viggle还在内测期间,可在Discord免费使用,操作习惯跟Midjourney一致,如果你也感兴趣,马上行动吧~