Hint-oriented self-suggestive learning for commonsense information processing

doi:10.1016/j.ipm.2026.104964

Hint-oriented self-suggestive learning for commonsense information processing

2026-06-01

0

PRE

AI

DOI：10.1016/j.ipm.2026.104964

原文链接

原文求助

摘要

En 中文

多选题常识问题回答（MC-CQA）是认知信息科学的重要组成部分，尤其对于推进信息系统的推理功能具有重要意义。然而，推理的有效信息处理仍然困难。当模型缺乏相关知识或明确指导时，干扰项往往具有迷惑性。本文提出了一种基于提示的表示学习（HORL），这是一种有效且集成的框架，旨在协同内部和外部提示以增强推理能力。在该框架中，内部提示被形式化为结构化意图描述符，而外部提示包括模拟人类知识获取的专家式建议，以区分正确和错误的推理路径。具体而言，HORL实施了一种双任务学习范式：通过关键词预测任务实现意图内化，并通过对比学习任务优化信息表示，使其与专家引导模式对齐。通过这种方式，该框架在训练过程中模拟了自我建议机制，有效将来自内部提示和外部专家知识的推理模式内化到模型的潜在空间中。为评估系统的决策支持鲁棒性，我们采用RoBERTa、ELECTRA、Flan-T5和LLaMA作为骨干模型，并在CODAH和Discosense基准上评估HORL。实验结果表明，HORL始终优于基线方法。通过利用来自GPT-5的外部建议，HORL在CODAH和Discosense上分别实现了5.58%和3.52%的准确率提升。此外，HORL在监督微调（SFT）和零/少样本设置下均超越了当前最优的大型语言模型（LLMs）。该框架为将内部和外部提示整合到推理模型中提供了有效途径。我们的发现为开发知识增强型智能系统提供了实践见解。

Keyword:

Natural language reasoning

Commonsense question answering

Expert-guided contrastive learning

Multiple-task joint learning

Hint-oriented representation learning

Hint-oriented self-suggestive learning for commonsense information processing

摘要

期刊

机构

引用论文