跳转至

OR-Agent：连接演化搜索与结构化研究，实现自动化启发式设计

文章背景与核心概要

在复杂的实验驱动领域中，自动化启发式设计不仅依赖于求解算法的迭代变异。当前基于大语言模型（LLM）的演化方法往往依赖随机变异循环，缺乏长远战略规划以及从历史失败中学习的正式机制，从而导致探索效率低下和冗余试验。

为了解决这一问题，本文推出了 OR-Agent，这是一个专为具有丰富实验环境的优化问题设计的多代理（Multi-Agent）研究框架。OR-Agent 将启发式搜索组织为基于树的工作流，显式地对分支假设生成和系统性回溯进行建模；此外，为了弥补当前智能体缺乏自适应学习的短板，本文引入了一个受优化启发的层次化反思系统（包含言语梯度、言语动量和语义权重衰减），从而有效规范研究动态，并在多个经典组合优化及交通场景中展现出优于传统基准的性能。

摘要 (Abstract)

在复杂的、实验驱动的领域中实现自动化启发式设计，需要的不仅仅是求解算法的迭代变异。当前基于大语言模型（LLM）的演化方法往往依赖于随机的变异循环，缺乏长期的战略规划以及从历史失败中学习的正式机制，从而导致探索效率低下和冗余的试验。

Automating heuristic design in complex, experiment-driven domains requires more than iterative mutation of solution algorithms. Current LLM-based evolutionary methods often rely on stochastic mutation loops that lack long-term strategic planning and a formal mechanism to learn from historical failures, leading to inefficient exploration and redundant trials.

为了解决这一问题，我们提出了 OR-Agent，这是一个专为富实验环境优化问题中的自动化启发式设计而设计的多智能体研究框架。OR-Agent 将启发式搜索组织为基于树的工作流，显式地对分支假设生成和系统性回溯进行建模。此外，为了解决当前智能体缺乏自适应学习的问题，我们引入了一个受优化启发的层次化反思系统，其中： * 短期反思 充当言语梯度（verbal gradients）， * 长期反思 充当言语动量（verbal momentum），以及 * 记忆压缩 充当语义权重衰减（semantic weight decay）。

To address this, we present OR-Agent, a multi-agent research framework designed for automated heuristic design in optimization problems with rich experimental environments. OR-Agent organizes heuristic search as a tree-based workflow that explicitly models branching hypothesis generation and systematic backtracking. Furthermore, to address the lack of adaptive learning in current agents, we introduce a hierarchical, optimization-inspired reflection system in which: * Short-term reflections act as verbal gradients, * Long-term reflections act as verbal momentum, and * Memory compression acts as semantic weight decay.

这些组件共同构成了一个用于调控研究动态的原理性机制。在经典组合优化问题（例如 TSP、CVRP、装箱问题）以及基于模拟的协同驾驶场景上的广泛实验表明，OR-Agent 优于强大的演化搜索基准。

Collectively, these components form a principled mechanism for governing research dynamics. Extensive experiments on classical combinatorial optimization problems (e.g., TSP, CVRP, bin packing) and simulation-based cooperative driving scenarios demonstrate that OR-Agent outperforms strong evolutionary search baselines.

核心特性与架构 (Key Features & Architecture)

  1. 基于树的工作流： 显式地围绕分支假设生成和系统性回溯来构建启发式搜索，而非盲目的试错。
    1. Tree-Based Workflow: Structures the heuristic search explicitly around branching hypothesis generation and systematic backtracking rather than blind trial-and-error.
  2. 层次化反思系统：
  3. 言语梯度（短期反思）
  4. 言语动量（长期反思）
  5. 语义权重衰减（记忆压缩）
    1. Hierarchical Reflection System:
    2. Verbal Gradients (short-term reflections)
    3. Verbal Momentum (long-term reflections)
    4. Semantic Weight Decay (memory compression)
  6. 广泛的适用性： 在经典组合优化问题（旅行商问题、带容量限制的车辆路径问题、装箱问题）以及复杂的基于模拟的协同驾驶场景中得到了验证。
    1. Broad Applicability: Validated across classical combinatorial optimization problems (Traveling Salesperson Problem, Capacitated Vehicle Routing Problem, Bin Packing) and complex simulation-based cooperative driving scenarios.