arrow
返回

CORAL: Collaborative Automatic Labeling System based on Large Language Models

delete2024-11-08
delete0
PRE
AI
Z
Zhen Zhu
Y
Yibo Wang
Y
Yang, Shouqing
L
Long Lin
武润泽 封面图
武润泽 (Runze Wu)
T
Tang Xiu
J
Junbo Zhao
H
Haobo Wang *
DOI:10.14778/3685800.3685885delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
在大数据时代,数据标注是众多应用不可或缺的一部分。然而,它被广泛认为是繁琐且耗时的过程,显著阻碍了数据驱动应用的可扩展性和效率。为降低人力成本,我们提出CORAL,一种由大型语言模型(LLMs)驱动的协作式自动标注系统,该系统能以最少的人力投入实现高质量标注。首先,CORAL利用LLM自动标注海量数据集,生成粗粒度标签。随后,一个弱监督学习模块采用噪声标签学习技术训练小型语言模型(SLMs),从LLM的标注中提炼精确标签,同时允许对模型结果进行统计分析以识别潜在错误标签,从而减少错误检测所需的人力成本。此外,CORAL支持通过LLMs和SLMs对人工修正的标签进行迭代优化,进而确保标注质量和模型性能的持续提升。一个可视化界面可实现对标注过程的监控和结果分析。

期刊

P
Proceedings of the VLDB Endowment
IF:
3.3
论文数:
563
被引数:
1.2W

机构

N
netease fuxi ai lab
学者数:
3
论文数: 2
被引数: 0
引用论文

引用论文

Snuba
err2018-11-01
err0
errOAAI
errParoma Varma; Christopher Ré
err分享
err收藏
Understanding Deep Learning (Still) Requires Rethinking Generalization理解深度学习 (仍然) 需要重新思考泛化
err2021-02-22
err1.2K
errOAAI
errZhang, Chiyuan; Bengio, Samy; Hardt, Moritz; Recht, Benjamin; Vinyals, Oriol
err分享
err收藏
Cleaning crowdsourced labels using oracles for statistical classification
err2018-12-01
err0
errOAAI
errMohamad Dolatshah; Mathew Teoh; Jiannan Wang; Jian Pei
err分享
err收藏
没有更多内容