DiffPrep: Differentiable Data Preprocessing Pipeline Search for Learning over Tabular Data

doi:10.1145/3589328

DiffPrep: Differentiable Data Preprocessing Pipeline Search for Learning over Tabular Data

2023-06-20

0

OA

AI

DOI：10.1145/3589328

原文链接

原文求助

摘要

En 中文

数据预处理是机器学习过程中将原始数据转换为更适合下游机器学习模型使用格式的关键步骤。然而，数据预处理可能成本高昂且耗时，通常需要领域专家的专业知识。现有的自动化机器学习（AutoML）框架声称能够自动化数据预处理。然而，它们通常使用受限的数据预处理管道搜索空间，这限制了潜在的性能提升，并且由于需要多次训练机器学习模型，它们往往速度过慢。在本文中，我们提出了一种名为DiffPrep的方法，该方法能够自动且高效地为给定的表格数据集和可微分机器学习模型搜索数据预处理管道，以使机器学习模型的性能最大化。我们将数据预处理管道搜索问题形式化为一个双层优化问题。为了高效解决这个问题，我们将离散的、不可微的搜索空间转换为连续且可微的空间，这使得我们能够仅通过训练一次机器学习模型，使用梯度下降法进行管道搜索。我们的实验表明，DiffPrep在18个被评估的真实数据集中的15个上取得了最佳测试精度，并将模型的测试精度提高了高达6.6个百分点。

DiffPrep: Differentiable Data Preprocessing Pipeline Search for Learning over Tabular Data

摘要

期刊

机构

引用论文