.png){kind=icon}
返回
Exploring Zero-Shot Data Drift Detection with Large Language Models
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-03550-9_24.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在现代数据驱动的应用中，部署在动态环境中的机器学习模型因数据漂移而面临重大挑战，数据漂移指的是数据分布随时间的变化。未处理的数据漂移会严重降低模型性能，尤其是在医疗保健、金融和工业自动化等领域。传统的漂移检测方法通常依赖有监督方法，需要标注数据，使其对实际应用而言成本高昂且不切实际。本文探讨了大型语言模型（LLMs）在零样本方式下检测数据漂移的潜力，利用其上下文理解能力来识别统计和语义异常，而无需依赖标注实例或预定义的漂移指标。我们研究了影响基于LLM的漂移检测有效性的三个关键方面：（1）直接监控原始数据特征的优势，（2）输入标记长度变化的影响，（3）模型对不同类型分布偏移（白噪声、渐进式降级和突发设置变化）的敏感性。在反压铸造（CPC）过程的传感器数据上进行的实验表明，LLMs能有效识别突发漂移，但对渐进式偏移的敏感性降低，对随机噪声的响应微乎其微。我们的发现为采用LLMs进行零样本漂移检测的优缺点提供了见解，表明在结合优化的输入处理策略时，它们在现实世界监控应用中具有巨大潜力。
Keyword:
Large Language Model
Data Drift
Zero-Shot Detection
期刊
机构
引用论文
Empirical data drift detection experiments on real-world medical imaging data真实世界医学影像数据的经验数据漂移检测实验.png)
NATURE COMMUNICATIONS
OAAI
NATURE COMMUNICATIONSIF15.7
OAAI分享收藏分享收藏A PCA-Based Change Detection Framework for Multidimensional Data StreamsProceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data MiningOAAI
Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data MiningIF0
OAAI分享收藏AAD-LLM: Adaptive Anomaly Detection Using Large Language ModelsRussell-Gilbert, A.; Sommers, A.; Thompson, A.; Cummins, L.; Mittal, S.; Rahimi, S.; Seale, M.; Jaboure, J.; Arnold, T.; Church, J. Aad-llm: 基于大型语言模型的适应性异常检测。在2024年IEEE国际大数据会议（BigData）论文集，美国华盛顿特区，2024年12月15–18日；第4194–4203页。[Google Scholar][CrossRef]
PREAI
分享收藏分享收藏
查看更多内容