arrow
返回

Optimizing pre-training for multi-label classification via generalized target-aware source data selection

delete2026-03-20
delete0
delete
OA
AI
K
Kanyu Miyoshi
R
Ryotaro Shimizu *
L
Linxin Song
M
Masayuki Goto
DOI:10.1016/j.neucom.2026.133405delete
delete原文链接
delete分享
delete收藏
查看原文
摘要

摘要

En 中文
• 提出了一种由GDAIG指导的数据选择策略用于多标签分类。 • GDAIG通过任务相关的多标签数据选择来提高目标模型的性能。 • 一个概率转移矩阵捕捉标签间的依赖关系。 • 来自目标数据的“粗糙先验”有效指导源数据预训练。 • GDAIG在多样化的多标签场景中优于传统基线方法。
Keyword:
Data selection
Domain adaptation
Multi-label classification
Knowledge transfer
Pre-training
AI总结

AI总结

对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

•简要概述

2026年03月,Kanyu Miyoshi; Ryotaro Shimizu; Linxin Song; Masayuki Goto在 Neurocomputing 在线发表论文《Optimizing pre-training for multi-label classification via generalized target-aware source data selection》,该研究提出了一种新型数据筛选策略,解决了多标签任务中“用错训练数据”导致模型学偏的关键问题。通过让模型先快速学习目标任务的粗略规律,再据此智能挑选最相关的源数据用于预训练,实现了对标签间复杂关联的精准建模。该方法显著抑制了因源数据与目标疾病不匹配而引入的干扰噪声,为医疗影像、工业质检等小样本专业领域提供了更可靠、更易定制的人工智能建模新路径。

•研究摘要

当前AI模型常依赖ImageNet等通用大数据集预训练,但当目标任务是识别多种疾病(如肺水肿+纤维化)时,这些通用数据里大量无关标签反而会“教坏”模型。现有方法要么全盘照搬源数据,要么仅适配单标签任务,难以应对医学图像中一张图对应多个病灶的现实。本研究提出GDAIG框架:先用少量目标数据训练一个“小老师”,再让它像经验丰富的选品专家一样,从海量源图中挑出最能辅助诊断的样本组合;实验证明,在胸片数据上,该方法在标签部分重叠或完全不重叠的严苛场景下,AUC指标稳定提升0.6–2.9个百分点,尤其适合医院私有数据少、公开数据杂的落地困境。

•背景介绍

多标签分类技术的核心优势在于能同时识别图像中的多个对象或病症,广泛应用于医学影像诊断与工业缺陷检测。然而,传统预训练方法常将所有公开数据“一锅炖”,当源数据(如含动物、车辆的ImageNet)与目标任务(如只关注心影增大、肺水肿)标签差异大时,无关信息会严重干扰模型学习,导致诊断准确率下降。策略A虽能直接复用大模型却无法剔除噪声标签;策略B虽可微调却受限于目标数据量少、泛化能力弱。因此,如何在不增加标注成本的前提下,让模型自主识别并优先利用真正有用的源数据,成为提升小样本专业AI性能的关键瓶颈。

•关键亮点

1.智能“选材”机制:先用目标数据训练轻量级引导模型,再让它评估每张源图对诊断的贡献值,像资深医生挑教学案例一样精准筛选;避免全盘照搬带来的干扰,使模型专注学习关键特征。
2.软性标签映射:不再硬性规定“这张图只能对应一个病”,而是用概率方式刻画多个疾病间的共现关系,如同病历中记录“肺水肿常伴随心影增大”,让模型理解病症间的内在联系。
3.即插即用兼容性:无需改动主流模型结构(如ResNet、DenseNet),在胸片和日常物体数据集上均稳定提效,效果相当于把10万张杂图精炼成3万张高价值训练图,训练后AUC最高提升近3个百分点。

•展望与总结

基于GDAIG数据筛选技术,通过“目标先验引导→软性标签建模→高价值样本优选”的核心机理实现了多标签迁移学习的精准化突破,该技术具备强鲁棒性+高适配性的双重优势。实验证明在标签零重叠的极端条件下获得93.6% AUC,在PASCAL VOC通用物体识别中实现90.9% AUC。该研究不仅解决了医疗AI因数据不匹配导致的误诊风险,更通过可解释的数据选择范式为低资源领域知识迁移提供了方法论创新,其开源框架已支持跨医学影像、卫星遥感与工业质检等场景快速部署,正推动建立“按需取材”的新一代AI训练基础设施。

学者 查看更多内容

期刊

Neurocomputing 封面图
Neurocomputing
IF:
6.5
论文数:
2.5W
被引数:
8.4W

机构

W
Waseda University
学者数:
621
论文数: 287
被引数: 4.2K
U
University of Southern California
学者数:
2.7K
论文数: 1.0K
被引数: 2.7W
引用论文

引用论文

New insights on the role of auxiliary information in target speaker extraction
err
IF0
err2024-12-24
err0
PREAI
errMohamed Elminshawi; Wolfgang Mack; Srikanth Raj Chetupalli; Soumitro Chakrabarty; Emanuël A. P. Habets
err分享
err收藏
A Systematic Review of the Impact of Auxiliary Information on Recommender Systems
err2024-01-01
err0
errOAAI
errAyemowa, Matthew O.; Ibrahim, Roliana; Bena, Yunusa Adamu
err分享
err收藏
SSP: self-supervised pertaining technique for classification of shoulder implants in x-ray medical images: a broad experimental studySSP: x射线医学图像中肩部植入物分类的自监督相关技术: 广泛的实验研究
err2024-08-18
err1
errOAAI
errAlzubaidi, Laith; Fadhel, Mohammed A.; Hollman, Freek; Salhi, Asma; Santamaria, Jose; Duan, Ye; Gupta, Ashish; Cutbush, Kenneth; Abbosh, Amin; Gu, Yuantong
err分享
err收藏
Post-translational modification prediction via prompt-based fine-tuning of a GPT-2 model
err2024-08-07
err1
errOAAI
errShrestha, Palistha; Kandel, Jeevan; Tayara, Hilal; Chong, Kil To
err分享
err收藏
Two-stage fine-tuning with ChatGPT data augmentation for learning class-imbalanced data
err2024-08-01
err3
errOAAI
errValizadehaslani, Taha; Shi, Yiwen; Wang, Jing; Ren, Ping; Zhang, Yi; Hu, Meng; Zhao, Liang; Liang, Hualou
err分享
err收藏
Few-shot biomedical relation extraction using data augmentation and domain information
err2024-08-01
err2
PREAI
errGuo, Bocheng; Zhao, Di; Dong, Xin; Meng, Jiana; Lin, Hongfei
err分享
err收藏
Learning Algorithm Generalization Error Bounds via Auxiliary Distributions
err2024-01-01
err0
PREAI
errAminian,Gholamali; Masiha,Saeed; Toni,Laura; Rodrigues,Miguel R. D.
err分享
err收藏
Emerging applications of machine learning in genomic medicine and healthcare
err2023-10-10
err16
PREAI
errChafai, Narjice; Bonizzi, Luigi; Botti, Sara; Badaoui, Bouabid
err分享
err收藏
学者 查看更多内容