返回
LLM-based feature generation from text for interpretable machine learning
DOI:10.1007/s10994-025-06867-1.png)
摘要
En 中文
传统文本表示方法如嵌入和词袋模型,由于高维性和可理解性差,阻碍了规则学习和其他可解释机器学习方法。本文探讨了使用大型语言模型(LLMs)提取少量可解释文本特征的方法。我们提出了两种工作流程:一种由LLM完全自动完成(特征提案和值计算),另一种由用户定义特征而LLM计算值。这种基于LLM的特征提取使可解释规则学习成为可能,克服了词袋模型中出现的虚假可解释性等问题。我们在五个不同领域的数据集(包括科学计量学、银行业、仇恨言论和食品安全风险)上评估了所提出的方法。LLM生成的特征在预测性能上与SciBERT嵌入模型相当,但使用了远少且可解释的特征。人类用户认为大多数生成的特征对于相应的预测任务具有相关性。我们在一个案例研究中展示了其实用性,该研究专注于挖掘旨在提高研究论文质量和引用影响力的推荐行动规则。
Keyword:
Large language models
Feature extraction
Action rules
期刊
IF:
2.9
论文数:
2.7K
被引数:
3.4W
机构
引用论文
Predicting article quality scores with machine learning: The UK Research Excellence Framework用机器学习预测文章质量分数: 英国卓越研究框架
Why was this cited? Explainable machine learning applied to COVID-19 research literature
SCIENTOMETRICS
IF3.5
A comparison of Best-Worst Scaling and Likert Scale methods on peer-to-peer accommodation attributes
没有更多内容

