Efficient Task Grouping Through Sample-Wise Optimisation Landscape Analysis

Anshul Thakur

doi:10.1109/TPAMI.2025.3588685

Efficient Task Grouping Through Sample-Wise Optimisation Landscape Analysis

0

OA

AI

DOI：10.1109/TPAMI.2025.3588685

原文链接

摘要

En 中文

共享训练方法，如多任务学习（MTL）和基于梯度的元学习，被广泛应用于各种机器学习应用中，但它们通常会受到负迁移的影响，导致特定任务性能下降。尽管已开发出多种优化技术来缓解预选任务集合中的这一问题，但识别联合学习的最优任务组合——即任务分组——仍处于探索阶段，且由于任务组合呈指数级增长以及需要进行大量训练和评估周期，计算上具有挑战性。本文介绍了一种高效的任务分组框架，旨在降低现有方法的巨大计算需求。所提出的框架通过样本级优化景观分析推断成对任务相似性，无需像现有方法那样依赖共享模型训练来推断任务相似性。获得任务相似性后，采用基于图的聚类算法来识别近优任务组，为原本是NP难的问题提供了一个近似但高效且有效的解决方案。在9个不同数据集上进行的大量实证评估证实了所提出框架的有效性，其速度较以往的最优方法提升了五倍。此外，该框架在性能上表现一致，证明了其在任务分组方面卓越的效率和有效性。

Keyword:

Task groupings

multi-tasking

sample-wise convergence

gradient-based meta-learning

Efficient Task Grouping Through Sample-Wise Optimisation Landscape Analysis

摘要

期刊

机构

引用论文