继推出 Style Reference 风格一致性功能后,Midjourney 终于在前几天上线了备受大家期待的新功能 Character Reference (角色参考),用于保持角色形象的一致性。
一、提升人物面部相似度
Character Reference 可以让我们在生成不同图像时,保持其中角色形象的一致,官方表示目前这项功能对 Midjourney 自身生成的图像效果最好,对照片或其他图像的效果可能不稳定。但经过实际测试大家可能也发现了,即使用的是 Midjourney 生成的图像, --cref 也并不能做到 100% 相似,尽管在发行、服装上的相似度很高,但五官还是能明显看出不同。
经过不断测试,我发现了一个比较有效的改善方式:让参考图像中人物的面部占比应该尽量大。也就是我们在生成参考图像的时候,可以使用 “头部特写” 关键词或者描述人物眼睛的特征,让人物的脸部在图像中占据主要位置、五官细节清晰;之后再用 --cref 生成的时候,人物的面部相似度可以得到有效提升。
下面是一组对比,可以看出当人物面部占比较大时,--cref 生成的人物图像会更稳定。
测试过程中我还发现,虽然 --cref 生成的图像与参考图可能不太相似,但是彼此之间的一致性还是不错的,如下图,cref 生成 3 张图像中人物的服饰、背景有明显变化,但五官相似度非常高。也就是说只要我们始终保持使用同一张原图、并且不在乎其与参考图像的相似度,那么 cref 还是非常有作用的。
二、Cref 生成风格化头像
官方在发布公告中提到,--cref 的工作原理与垫图(image prompt )类似,但是更“专注”于角色特征。之前我们常用垫图来生成风格化图像,现在就可以选择用 --cref 来实现,或者二者结合使用。下图是 3 种效果的对比,个人感觉垫图对画面元素、构图的还原的更好;--cref 则对人物表情、面部细节还原更到位,但是会忽略背景细节。如果将二者结合使用,可以在一定程度上弥补彼此的短处,得到更好的效果。
三、Cref 生成艺术摄影
用 AI 生成艺术摄影目前在 Stable Diffusion 生态中非常流行,因为 controlnet、reactor、ip-adapter 等技术支持它在保留人物形象特征的基础上,实现进一步的艺术加工。现在 midjourney 也有了复制风格的 style reference 和保持角色一致性的 character reference 功能,因此也可以完成类似的任务。
首先上传一张人物图像,它的链接将用于 --cref 复制人物面部特征,cw 权重参数记得调为 0,方便对人物的发型、服装做出修改;再上传一张用于风格复制的图像,它的链接将用于 --sref 中,可以适当调高 sw 参数提高风格一致性;此外提示词也要详细描述一遍你需要的内容,包括人物形象、动作姿势、环境特征、景别、色调、装饰元素等,以获取更好的生成效果。下图是我测试的一个案例,整体效果还是非常不错的。