An efficient parallel DeepFM for recommendation systems based on Spark

doi:10.1016/j.jpdc.2026.105270

An efficient parallel DeepFM for recommendation systems based on Spark

2026-04-01

0

PRE

AI

DOI：10.1016/j.jpdc.2026.105270

原文链接

原文求助

摘要

En 中文

DeepFM是一种有效的推荐算法，然而，随着推荐数据规模的增大，它无法完全发挥其预期性能。为解决上述挑战，我们引入了一种基于Spark的DeepFM新型并行算法，称为SDFM，该算法包含三个主要组件。首先，我们对预处理数据进行分区，并并行计算嵌入矩阵。其次，我们通过提取每个特征的有效值来简化FM组件的计算过程，从而简化公式的同时保持其准确性。最后，基于数据并行性，我们进一步对Deep组件中每个隐藏层节点的计算进行分区和并行化。这三个组件充分利用了Spark的分布式和并行特性，使DeepFM能够在大型数据集上实现性能提升。最终，我们通过大量实验全面验证了SDFM的性能。将我们的算法与部署在类似分布式平台（如Flink和Hadoop）上的DeepFM进行比较，我们的方法在相同时间内始终表现出更优的性能。

Keyword:

DeepFM

Spark

parallel algorithm

recommendation systems

distributed computing

An efficient parallel DeepFM for recommendation systems based on Spark

摘要

期刊

机构

引用论文