NSDT工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割
在本教程系列的第 3 部分中,我们讨论了文本到 3D 的技术还不成熟。 然而,对于 2D 来说,情况就大不相同了。
在这一部分中,我们将讨论如何使用 AI 生成 2D 资产。我们将介绍生成 2D 资产的协作过程,其中将 Stable Diffusion 作为工具合并到传统的 2D 工作流程中。 这适用于具有一些图像编辑和 2D 资产创建知识的读者,但可能对初学者和专家等人有所帮助。
你需要先准备好以下工具:
- 你首选的图像编辑软件,例如 Photoshop 或 GIMP(免费)。
- Stable Diffusion
1、Image2Image
诸如Stable Diffusion之类的扩散模型通过在文本的指导下从噪声中重建图像来工作。 Image2Image 使用相同的过程,但以真实图像而不是噪声作为输入开始。 这意味着输出将在某种程度上类似于输入图像。
Image2Image 中的一个重要参数是去噪强度。 这控制了模型改变输入的程度。 去噪强度为 0 将准确再现输入图像,而去噪强度为 1 将生成截然不同的图像。 考虑去噪强度的另一种方法是创造力。 下图演示了在各种去噪强度下,使用圆形输入图像和提示“月亮”进行的图像到图像。
![](http://www.bimant.com/blog/content/images/2023/03/image-270.png)
Image2Image 允许将 Stable Diffusion 作为一种工具使用,而不是作为传统艺术工作流程的替代品。 也就是说,你可以将自己手工制作的资产传递给 Image2Image,然后手动迭代返回结果,等等。 让我们以农场游戏为例。
2、示例:玉米
在本节中,我将介绍如何为农场游戏生成玉米图标。 作为起点,我勾勒了一个非常粗糙的玉米图标,旨在布置图像的构图。
![](http://www.bimant.com/blog/content/images/2023/03/image-271.png)
接下来,我用以下提示让用Image2Image 生成一些图标:
corn, james gilleard, atey ghailan, pixar concept artists, stardew valley, animal crossing
我使用了 0.8 的去噪强度,以鼓励模型更具创造性。 生成几次后,我找到了一个我喜欢的结果。
![](http://www.bimant.com/blog/content/images/2023/03/image-272.png)
图像不需要是完美的,只要朝着你要去的方向,因为我们会不断迭代。 就我而言,我喜欢所产生的风格,但认为茎有点太复杂了。 所以,我在photoshop中做了一些修改。
![](http://www.bimant.com/blog/content/images/2023/03/image-273.png)
请注意,我粗略地绘制了我想要更改的部分,允许 Stable Diffusion 填充细节。我将修改后的图像放回 Image2Image,这次使用较低的去噪强度 0.6,因为我不想 从输入图像偏离太远。 Stable Diffusion返回给我一个令人满意的图标。
![](http://www.bimant.com/blog/content/images/2023/03/image-274.png)
玉米杆的底部对我来说有点太绘画了,顶部有一个新芽。 所以,我在 photoshop 中对这些进行了绘画,在 Stable Diffusion 中又进行了一次处理,然后删除了背景。
![](http://www.bimant.com/blog/content/images/2023/03/image-275.png)
Voilà,在不到 10 分钟的时间里,一个游戏就绪的玉米图标。 但是,你可以花更多的时间来获得更好的结果。 我推荐观看此视频,以更详细地演练如何制作更复杂的资产。
3、示例:镰刀
在许多情况下,你可能需要稍微对抗Stable Diffusion才能获得想要的结果。 对我来说,镰刀图标就是这种情况,它需要大量的迭代才能达到我想要的方向。
![](http://www.bimant.com/blog/content/images/2023/03/image-276.png)
问题可能在于这样一个事实,即网上有更多关于镰刀作为武器而不是作为农具的图像。 解决此问题的一种方法是提示工程,或摆弄提示以尝试将其推向正确的方向,即在提示中写镰刀、镰刀工具或在否定提示中写武器。 但是,这不是唯一的解决方案。
Dreambooth、textual inversion和 LoRA 是用于定制扩散模型的技术,使它们能够产生更符合你目标的结果。 这些超出了本教程的范围,但值得一提,因为它们在 2D 资产生成领域变得越来越重要。
layer.ai 和 scenario.gg 等生成服务专门针对游戏资产生成,可能使用 dreambooth 和文本反转等技术来允许游戏开发人员生成风格一致的资产。 然而,在新兴的生成游戏开发工具包中,哪些方法将成为最重要的方法还有待观察。
如果你有兴趣深入了解这些高级工作流程,请查看此博客文章和 Dreambooth 培训空间。
原文链接:2D Asset Generation: AI for Game Development #4
bBimAnt翻译整理,转载请标明出处