Optimizing Multimodal RAG Systems for Multilingual Product Support

M.K. Garg

doi:10.34028/iajit/23/3/9

Optimizing Multimodal RAG Systems for Multilingual Product Support

2026-05-01

0

PRE

AI

DOI：10.34028/iajit/23/3/9

原文链接

原文求助

摘要

En 中文

多语言产品支持需要机器学习系统整合文本、语音和视觉数据，并适应多样化的语言环境。检索增强生成（RAG）框架是一种潜在解决方案。然而，它们高度依赖检索策略和语言模型的集成，这方面的研究较少，尤其是在印地语和多媒体应用中。本文对五种RAG架构在十七种管道配置中进行了系统评估，结合了最佳匹配25（BM25）、密集型IndicBERT、mT5和句子变换器等检索方法。使用包含170份工程手册、宣传册和演示文稿的精选数据集，模拟真实世界的故障排除场景。在评估的方法中，一种受ColPali启发的多媒体融合机制——能够联合编码文本和图像——显著提高了复杂情况下的检索精度和诊断支持。采用Recall@5、平均倒数排名（MRR）、BLEU、ROUGE-L和平均精度均值（mAP）进行评估显示，混合管道（尤其是Chroma-FAISS与mT5组合）实现了强大的语义对齐（Recall@5=0.78，ROUGE-L=0.46），同时保持效率。基于ColPali的多媒体RAG进一步提升了性能，达到94%的Top-1检索准确率和超过90%的用户满意度。这些结果表明，精心构建的混合和多媒体RAG系统有可能提供准确、流畅且包容的实时支持，为教育以外的任何需要实时干预的领域（如医疗保健、教育、技术培训等）提供设计指导。

Keyword:

Retrieval-augmented generation

multimodal language models

vision-language models

indic languages

AI for technical support

Optimizing Multimodal RAG Systems for Multilingual Product Support

摘要

期刊

机构

引用论文