软件学报:jos:7694 · 记录 #1

基于动态图注意力与多视角对齐的多模态推荐方法

来源日期 2026-11-11

来源记录日期 2026-11-11

雷达观测 2026-11-11 10:31

摘要

多模态推荐通过联合建模用户历史行为与物品的图像、文本等内容信息, 能够在协同信号之外提供更丰富的语义线索, 从而提升推荐系统对用户偏好的刻画能力. 尽管现有工作已在多兴趣建模、结构学习和跨模态对齐等方面取得了一定进展, 但仍面临若干挑战: 一方面, 部分方法倾向于将用户行为信号与多模态内容压缩到共享表示空间, 导致不同模态下偏好表达的差异性刻画不足; 另一方面, 静态用户-物品交互图在稀疏或噪声较强的场景下容易引入无关邻居传播, 限制表示质量; 此外, 现有对比学习目标多聚焦于同一实体的跨视图一致性或模态内部约束, 对真实用户-物品交互关系的显式利用仍不充分. 针对上述问题, 提出一种融合动态图注意力与多视角对齐的多模态推荐方法DAMARec. 该方法在用户侧采用文本-视觉双通道表示, 以增强差异化兴趣建模; 在结构建模阶段, 引入动态图注意力机制对用户-物品交互关系进行自适应加权, 以突出关键信息传播并抑制噪声干扰; 在此基础上, 从用户侧与物品侧共同构建交互驱动的多视角跨模态对齐目标, 实现协同信号与多模态语义的一致约束. 在3个公开数据集上的实验结果表明, DAMARec在Recall@10和NDCG@10指标上平均提升6.31%和8.18%, 显著优于代表性基线方法, 验证了其在提升表示鲁棒性、增强跨模态语义一致性以及缓解稀疏场景噪声传播方面的有效性.