跳转至

ATLAS：基于嵌入引导质量多样性搜索的LLM无支架算法合成

文章背景与核心概要

大多数自动化算法设计方法通常依赖于人类预定义的“支架”（Scaffolds），即限制组件交互方式的固定结构。ATLAS（基于嵌入引导质量多样性搜索的LLM算法合成）打破了这一约束，实现了无支架的全算法合成。该方法仅需提供最小化的输入/输出接口和问题约束，即可让大语言模型（LLM）自主决定组件选择、控制流及交互逻辑。

为了应对由此产生的复杂性和巨大的搜索空间，ATLAS引入了错误条件修复机制、嵌入引导的质量多样性搜索以及跨区域合成策略。实验结果表明，ATLAS在四个NP难问题上的表现优于现有的最先进组件合成方法，并能与人类设计的算法相媲美，同时生成了一系列多样化且高效的算法策略。

摘要

大多数自动化算法设计方法依赖于人类定义的“支架”——即限制组件如何交互的固定结构。ATLAS（基于嵌入引导质量多样性搜索的LLM算法合成）打破了这一约束，实现了无支架的全算法合成。

Most automated algorithm design methods rely on human-defined "scaffolds"—fixed structures that limit how components interact. ATLAS (Algorithm Synthesis by LLMs via Embedding-Guided Quality-Diversity Search) breaks this constraint, enabling scaffold-free full-algorithm synthesis.

通过仅提供最小化的输入/输出接口和问题约束，ATLAS允许LLM自主确定组件选择、控制流和交互逻辑。为了管理由此产生的复杂性和搜索空间，ATLAS采用了： * 错误条件修复：对执行、接口和可行性故障进行独立检测，并实现自动恢复。 * 嵌入引导的质量多样性：一种三层搜索过程，利用基于相似性的归档管理来维护高性能算法的多样化群体，防止过早收敛到单一设计区域。 * 跨区域合成：一种重组嵌入空间不同区域中成功组件的机制。

By providing only a minimal I/O interface and problem constraints, ATLAS allows the LLM to autonomously determine component selection, control flow, and interaction logic. To manage the resulting complexity and search space, ATLAS employs: * Error-Conditioned Repair: Independent detection of execution, interface, and feasibility failures with automated recovery. * Embedding-Guided Quality-Diversity: A three-layer search process that uses similarity-based archive management to maintain a diverse population of high-performing algorithms, preventing premature convergence to a single design region. * Cross-Region Synthesis: A mechanism to recombine successful components from different regions of the embedding space.

在四个NP难问题上的实证结果表明，ATLAS优于现有的最先进组件合成方法，并保持了与人类设计算法的竞争力，同时产生了一组多样化、独特且有效的算法策略。

Empirical results across four NP-hard problems demonstrate that ATLAS outperforms existing state-of-the-art component-synthesis methods and remains competitive with human-designed algorithms, while producing a diverse set of distinct, effective algorithmic strategies.

核心特性

  • 全算法合成：超越了优化子组件的范畴，转向设计整个算法架构。
  • 多样性保持搜索：利用嵌入空间分析确保系统保留多种不同且高质量的算法方法，而不是坍缩为单一解决方案。
  • 鲁棒性：结合了自动故障检测和修复功能，以应对更大、无约束搜索空间所带来的固有风险。
  • Full-Algorithm Synthesis: Moves beyond optimizing sub-components to designing the entire algorithmic architecture.
  • Diversity-Preserving Search: Uses embedding-space analysis to ensure the system retains multiple, distinct, high-quality algorithmic approaches rather than collapsing into a single solution.
  • Robustness: Incorporates automated failure detection and repair to handle the inherent risks of a larger, unconstrained search space.

访问与资源

license icon

元数据