Parametric Knowledge Cannot Overcome Instance Bias in LLM-Based Automated Algorithm Design

Lu Han

doi:10.1109/tevc.2026.3735709

Parametric Knowledge Cannot Overcome Instance Bias in LLM-Based Automated Algorithm Design

2026-09-21

0

PRE

AI

DOI：10.1109/tevc.2026.3735709

原文链接

原文求助

摘要

En 中文

利用内部参数化知识的优势，基于大型语言模型（LLM）的自动算法设计（AAD）正在迅速发展。大多数现有方法将LLM与进化框架相结合，其中候选算法在问题实例上被评估并相应改进。因此，LLM的内部参数化知识和来自评估实例的外部指导共同塑造了最终算法。然而，LLM的内部知识与外部实例指导如何相互作用仍不明确。在本工作中，我们实证研究了实例对基于LLM的AAD在已知和未知问题上的影响。对于已知问题，LLM拥有足够的参数化知识可直接生成具有竞争力的算法，使得实例的指导作用在很大程度上被忽略。而对于LLM缺乏足够先验知识的未知问题，基于LLM的AAD更依赖外部实例指导，且有偏的实例分布会显著降低性能。为深入研究这种依赖性，我们提出了一种进化方法来自动生成对抗性实例。结果表明，在未知问题上，实例偏差的脆弱性广泛存在于结合实例的基于LLM的AAD方法中。我们的发现表明，虽然LLM丰富的参数化知识缓解了熟悉任务中的实例偏差，但克服实例依赖对于未知问题至关重要。

Keyword:

automated algorithm design

large language models

instances

Parametric Knowledge Cannot Overcome Instance Bias in LLM-Based Automated Algorithm Design

摘要

期刊

机构

引用论文