DQNOA: A problem-adaptive deep Q-Network optimization algorithm for continuous and engineering problems

Mohammad‐Reza Feizi‐Derakhshi

doi:10.1016/j.cnsns.2026.110502

2026-07-01

PRE

Mohammad‐Reza Feizi‐Derakhshi *

Najibeh Farzi‐Veijouyeh

DOI：10.1016/j.cnsns.2026.110502

原文链接

摘要

En 中文

传统元启发式算法的一个基本挑战在于其在优化过程中依赖静态策略。目标函数、搜索空间结构和问题复杂性在不同问题间可能存在显著差异。采用固定策略往往在部分问题上取得满意结果，但在许多其他问题上会导致早熟收敛和适应性降低。因此，本研究旨在开发一种能够在具有不同结构和特征的各种问题上动态智能运行的算法。通过持续学习，该算法为每个特定问题选择最合适的策略。为此，我们提出DQNOA（深度Q网络优化算法），该算法利用深度Q网络自适应地引导非线性空间中的搜索过程。该算法定义了一个由九种启发式算子组成的定制动作空间，每种算子代表一种独特的探索或开发策略。一个前馈神经网络通过学习过去的经验，在每次迭代中选择最合适的算子。此外，为了保持种群多样性并防止停滞，集成了一个双重机制以消除冗余个体并自适应调整种群大小。该算法的性能通过51个基准函数与12种最先进算法进行比较评估。Wilcoxon符号秩检验证实了DQNOA的优越性，其相对于最先进算法的平均性能表现为68.5%胜率、25.0%平局率和6.5%败率。此外，Friedman和SRA排名将DQNOA列为表现最佳的算法。这些发现，结合收敛速度和可扩展性的优势，证明了DQNOA的鲁棒性。此外，其在CEC2020真实工程套件中的有效性验证了其在解决实际优化问题中的效果。源代码：https://github.com/MSNFV/DQNOA-Deep-Q-Network-Optimization-Algorithm.

Keyword:

Metaheuristic optimization

Deep q-network optimization algorithm (DQNOA)

Reinforcement learning-based algorithm