返回
Embedding-Based Sparse Retrieval in E-Commerce Search
DOI:10.1007/978-981-95-4367-0_27.png)
摘要
En 中文
稀疏检索和密集检索是目前搜索系统的两种主要方法。尽管密集检索能更好地理解复杂语义关系和上下文信息,但稀疏检索在检索效率和可解释性方面仍表现出显著优势,尤其是在处理大规模文档检索时。考虑到两种方法的优势,我们提出了基于嵌入的稀疏检索(EBSR),一种可与任何基于变换器的语义模型集成的稀疏框架。EBSR将查询和文档编码为包含可变维度ID-权重对的稀疏嵌入。这些ID用于构建倒排索引,而权重用于计算相似度。我们在公开的MS MARCO数据集上对比了EBSR与当前最先进的稀疏检索方法,并在工业搜索系统中部署了它以进行在线A/B测试。离线和在线评估均证明了EBSR的有效性。
Keyword:
Information Retrieval
Semantic Models
Sparse Representation
期刊
N
IF:
0
论文数:
28
被引数:
0
机构
暂无机构信息
引用论文
Ultra-High Dimensional Sparse Representations with Binarization for Efficient Text Retrieval超高维稀疏表示结合二值化用于高效文本检索
Douze, M.; Guzhva, A.; Deng, C.; Johnson, J.; Szilvasy, G.; Mazaré, P.E.; Lomeli, M.; Hosseini, L.; Jégou, H. The Faiss library. arXiv 2024, arXiv:2401.08281. [Google Scholar] [CrossRef]Douze, M.; Guzhva, A.; Deng, C.; Johnson, J.; Szilvasy, G.; Mazaré, P.E.; Lomeli, M.; Hosseini, L.; Jégou, H. Faiss库。arXiv 2024, arXiv:2401.08281. [Google Scholar] [CrossRef]

