.png){kind=icon}
返回
ScribbleSense: Generative Scribble-Based Texture Editing With Intent Prediction
.png){kind=icon}
PRE
AI
DOI：10.1109/TVCG.2025.3635035.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
交互式3D模型纹理编辑为创建3D资产提供了增强的机会，自由绘画风格提供了最直观的体验。然而，现有方法主要支持基于草图的交互进行轮廓绘制，而粗粒度涂鸦式交互的应用仍然有限。此外，当前方法学往往因涂鸦指令的抽象性质而面临挑战，这可能导致编辑意图模糊和目标语义位置不清晰。为解决这些问题，我们提出了ScribbleSense，一种结合多模态大型语言模型（MLLMs）和图像生成模型以有效解决这些挑战的编辑方法。我们利用MLLMs的视觉能力来预测涂鸦背后的编辑意图。一旦辨别出涂鸦的语义意图，我们便采用全局生成的图像来提取局部纹理细节，从而锚定局部语义并缓解目标语义位置方面的模糊性。实验结果表明，我们的方法有效利用了MLLMs的优势，实现了基于涂鸦的纹理编辑的交互式编辑性能达到了最先进水平。
Keyword:
Texture editing
large-language models
diffusion models
3D textured meshes
期刊
IF:
6.5
论文数:
309
被引数:
2.2W
机构
引用论文
.png){kind=icon}
分享收藏Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based RenderingPaint-it: 基于深度卷积纹理图优化和基于物理的渲染的文本到纹理合成
PREAI
分享收藏
查看更多内容