Improving Selective Classification with Pairwise Queries for Binary Classification

Harsh Vardhan

doi:10.1007/s10994-026-07078-y

Improving Selective Classification with Pairwise Queries for Binary Classification

2026-06-16

0

PRE

AI

DOI：10.1007/s10994-026-07078-y

原文链接

原文求助

摘要

En 中文

在选择性分类中，模型会预测其有信心的数据样本的标签，而对于其没有信心的样本则选择弃权。被拒绝的样本通常由专家进行标注，这成本高昂。专家预算的最佳利用方式是模型在未被拒绝的样本上具有低误差。然而，模型置信度的估计可能与模型的预测不一致，这可能导致未被拒绝样本上的高误差。这种情况在LLMs的上下文二元分类中容易发生。为解决此问题，我们提出向同一模型进行额外的成对查询。这些成对查询可以检测高误差样本，并将其整合到选择性分类技术中以减少未被拒绝样本上的误差。理论上，我们确立了在何种条件下，使用成对查询的简单算法能够优于不一致的置信度估计。我们通过1个合成数据和4个基于上下文学习的真实二元分类数据集的广泛实验支持这一见解。在所有这些情况下，我们展示了我们的算法（使用成对查询）比仅使用原始置信度估计（例如LLM的下一标记对数似然）获得了更好的准确率-成本权衡。

Keyword:

Selective classification

Pairwise queries

Learning theory

In-context learning

Improving Selective Classification with Pairwise Queries for Binary Classification

摘要

期刊

机构

引用论文