返回
TWEEF: Trustworthiness Estimation and Enhancement Framework for Machine Learning Models
DOI:10.3390/app16021077.png)
摘要
En 中文
机器学习(ML)在高影响力领域的快速应用,加剧了对超越传统性能指标的系统性工具的需求,以评估和提升预测模型的可靠性。本文提出TWEEF(可靠性评估与增强框架),一个模块化且可扩展的框架,通过性能、公平性和可解释性的联合评估来操作化可靠性。TWEEF整合直觉模糊逻辑和主观逻辑,将定量可靠性相关指标转化为语言评估,随后使用语言加权平均(LWA)、高斯加权聚合(GWA)和主观逻辑(SL)等算子进行聚合。该框架通过元估计器TrustworthyClassifier扩展scikit-learn生态系统,该估计器在一个统一的、与管道兼容的工作流程中协调指标计算、偏差缓解程序、代理模型生成和可靠性聚合。该框架通过在二元分类设置中对广泛使用的基准数据集(德国信用、COMPAS和成人)进行的四项实验进行经验评估。结果表明,TWEEF能够持续揭示仅依赖预测性能时可能隐藏的公平性和可解释性局限性,并且所得可靠性评分对不同指标配置和加权方案做出一致响应。这些发现表明,TWEEF为可靠性评估和增强提供了一种结构化机制,同时也为未来扩展到其他学习任务和评估维度提供了灵活的基础。
Keyword:
trustworthiness
fairness
interpretability
fuzzy logic
subjective logic
期刊
A
IF:
2.5
论文数:
7.6K
被引数:
4
机构
引用论文
Evaluating the Quality of Machine Learning Explanations: A Survey on Methods and Metrics评估机器学习解释的质量: 方法和度量的调查
Electronics
IF0
Survey on Deep Fuzzy Systems in Regression Applications: A View on Interpretability回归应用中的深度模糊系统综述: 可解释性的观点
The role of explainability in creating trustworthy artificial intelligence for health care: A comprehensive survey of the terminology, design choices, and evaluation strategies可解释性在为医疗保健创造值得信赖的人工智能中的作用: 对术语,设计选择和评估策略的全面调查

