.png){kind=icon}
返回
CookingDiffusion: Cooking Procedural Image Generation with Stable Diffusion
.png){kind=icon}
PRE
AI
DOI：10.1145/3771995.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近期文本到图像生成模型的最新进展在创建多样化和逼真的图像方面表现出色。这一成功扩展到食物图像领域，其中利用了烹饪风格、食材和食谱等不同条件输入。然而，一个尚未探索的挑战是基于食谱的烹饪步骤生成一系列过程图像。这可以通过视觉指导增强烹饪体验，并可能引领智能烹饪模拟系统的开发。为填补这一空白，我们引入了一个名为“烹饪过程图像生成”的新任务。该任务本身具有挑战性，因为它旨在生成与烹饪步骤一致且保持序列一致性的照片级真实图像。为共同应对这些挑战，我们提出了一种名为CookingDiffusion的新方法，该方法利用Stable Diffusion和三种创新的Memory Nets来建模过程提示。这些提示包括文本提示（代表烹饪步骤）、图像提示（对应烹饪图像）和多媒体提示（混合烹饪步骤和图像），以确保烹饪过程图像的一致生成。为验证我们方法的有效性，我们对YouCookII数据集进行了预处理，建立了一个新的基准。我们的实验结果表明，我们的模型在生成高质量且在序列烹饪步骤中具有显著一致性的烹饪过程图像方面表现出色，这一结果通过FID和提出的平均过程一致性指标均得到验证。此外，CookingDiffusion展示了操纵食谱中食材和烹饪方法的能力。我们将公开提供我们的代码、模型和数据集。
Keyword:
Cooking Procedural Image Generation
Procedural Prompts
CookingDif-fusion
Memory Net
期刊
IF:
6
论文数:
2.0K
被引数:
5.4K
机构
引用论文
.png){kind=icon}
分享收藏
查看更多内容