.png){kind=icon}
返回
Feedback-Aware Inference for Iterative Multi-Sample Text Generation
.png){kind=icon}
OA
AI
DOI：10.3390/ai7050171.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
生成多个文本序列并通过反馈进行精炼对于提高许多NLP任务中输出质量至关重要。虽然大型语言模型可以在推理过程中利用迭代反馈，但小型模型由于容量有限且缺乏合适的训练范式，通常缺乏这种能力。在本文中，我们提出了一种新颖的反馈感知推理方法，该方法通过整合反馈信号实现迭代序列生成。我们的方法允许模型生成多个序列，纳入前一次迭代的反馈，并据此精炼输出。该策略能动态适应不同的质量指标，使其适用于各种上下文和目标。我们在两个不同任务上评估了该方法：问题生成的答案选择和关键词生成，论证了其通用性和有效性。结果表明，我们的方法优于强大的基线模型，在迭代过程中保持高性能，即使在较小的开源模型上也能取得更优结果。
Keyword:
feedback-aware
multi-sample generation
Question Generation
keywords generation
期刊
A
IF:
5
论文数:
1.0K
被引数:
941