Multimodal Recommendation via Modality-Shared Encoding and Multi-Dimensional Loss Optimization

doi:10.1109/TMM.2026.3660134

Multimodal Recommendation via Modality-Shared Encoding and Multi-Dimensional Loss Optimization

2026-02-02

0

PRE

AI

DOI：10.1109/TMM.2026.3660134

原文链接

原文求助

摘要

En 中文

多模态物品和用户的嵌入以及预测模型中的损失函数对多模态推荐至关重要。以往研究侧重于跨模态的特征提取和融合，但缺乏对不同关联图上模态特征的协同优化。尽管预测模型解决了数据对齐和用户偏好增强问题，但忽略了偏好一致性和不同模态对推荐贡献的差异。针对这些问题，本文提出了一种结合模态共享编码与多维损失优化的多模态推荐方法（MSE-ML）。我们引入了多视图特征联合编码模块，利用模态共享机制实现物品嵌入在用户-物品图和多个模态感知的物品关联图上的协同优化。此外，我们设计了多维损失优化策略，同时促进模态对齐、保持偏好一致性并增强弱模态的贡献。在公开数据集上的实验结果表明，MSE-ML在推荐质量方面优于当前最先进的方法。

Keyword:

Association graph

joint loss

modality-shared encoding

multimodal recommendation

preference consistency

Multimodal Recommendation via Modality-Shared Encoding and Multi-Dimensional Loss Optimization

摘要

期刊

机构

引用论文