文章背景与核心概要

传统的程序进化在控制变异在行为空间中的移动距离时往往面临挑战，因为传统的句法编辑大小并不能可靠地反映行为变化——微小的代码改动可能会极大地改变执行轨迹，而大规模的重写却可能保持轨迹不变。为了解决这一痛点，本文介绍了 ELMER（Evolutionary Language Model that Explores and Refines），它通过在自然语言策略描述上进行搜索，并将其编译为类型化的程序以供执行。

该研究利用了一个经过完全微调的 Qwen3-8B 模型，通过带有突变强度条件输入（低、中、高）的直接偏好优化（oDPO）进行训练。ELMER 成功学会了三种任务条件操作：条件语义突变、自然语言到特定领域语言（GPTL）的编译，以及 GPTL 到自然语言的翻译。在 252 次固定预算的进化搜索中，oDPO 改善了行为校准和有限预算的搜索效率，其中自然语言实现了观测到的最高保留适应度。

ELMER: Evolutionary Language Model that Explores and Refines

Summary

程序进化通常难以精确控制变异在行为空间中移动的距离，因为传统的句法编辑大小是不可靠的代理指标（微小的代码改动可以彻底改变执行轨迹，而大规模的重写却可以保持它们）。本文介绍了 ELMER（探索与优化的进化语言模型，Evolutionary Language Model that Explores and Refines），它在自然语言策略描述上进行搜索，并将其编译为用于执行的类型化程序。

Program evolution often struggles with precisely controlling how far a mutation moves in behavior space because traditional syntactic edit sizes are unreliable proxies (small code changes can drastically alter execution traces, while large rewrites can preserve them). This paper introduces ELMER (Evolutionary Language Model that Explores and Refines), which searches over natural-language policy descriptions and compiles them into typed programs for execution.

利用通过直接偏好优化（oDPO）训练的完全微调的 Qwen3-8B 模型，并结合关于突变强度（低、中、高）的条件输入，ELMER 成功学习了三种任务条件操作： 1. 条件语义突变 2. 自然语言到特定领域语言（GPTL）的编译 3. GPTL 到自然语言的翻译

Utilizing a fully fine-tuned Qwen3-8B model trained via Direct Preference Optimization (oDPO) with conditional input on mutation strength (low, medium, high), ELMER successfully learns three task-conditioned operations: 1. Conditional semantic mutation 2. Natural language to domain-specific language (GPTL) compilation 3. GPTL to natural language translation

在 252 次固定预算的进化搜索中，oDPO 改善了行为校准和有限预算的搜索效率，其中自然语言达到了观测到的最高保留适应度。

Across 252 fixed-budget evolutionary searches, oDPO improved behavioral calibration and finite-budget search efficiency, with natural language achieving the highest observed held-out fitness.

Paper Metadata

arXiv ID: arXiv:2608.10196 [cs.LG]
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)
Submitted Date: 10 August 2026
Conference: Submitted to AAAI Conference 2026 (8 pages, 6 figures, 1 table)
Authors:
Matthew Siper
Ahmed Khalifa
Julian Togelius

Abstract

程序进化可以衡量突变是否有帮助，但它很难控制突变在行为空间中移动了多远。句法编辑大小是一个不可靠的代理：一个微小的代码改动可以改变几乎所有的动作，而较大的重写可以保留相同的执行轨迹。我们引入了一个进化语言模型，它在自然语言策略描述上进行搜索并编译用于执行的类型化程序。完全微调的 Qwen3-8B 模型学习了三种任务条件操作：条件语义突变、自然语言到特定领域语言（GPTL）的编译，以及 GPTL 到自然语言的翻译。该模型使用直接偏好优化（oDPO）对突变强度（低、中、高）的条件输入进行微调。在 252 次固定预算的进化搜索中，oDPO 改善了行为校准和有限预算的搜索效率。自然语言获得了最高的观测保留适应度。我们的分析表明，条件输入（突变强度）系统地改变了语义编辑的组成，并且在匹配的小到中等行为位移下，语言突变保留了更多的父代适应度。这些结果表明，语言可以作为可执行程序空间上一种可操控的、基于执行落地的搜索表示。

Program evolution can measure whether a mutation helped, but it rarely controls how far the mutation moves in behavior space. Syntactic edit size is an unreliable proxy: a small code change can alter nearly every action, while a larger rewrite can preserve the same execution trace. We introduce an Evolutionary Language Model that searches over natural-language policy descriptions and compiles typed programs for execution. A fully fine-tuned Qwen3-8B model learns three task-conditioned operations: conditional semantic mutation, natural language to domain-specific language (GPTL) compilation, and GPTL to natural language translation. The model is fine-tuned with conditional input on the mutation strength (low, medium, high) using Direct Preference Optimization (oDPO). Across 252 fixed-budget evolutionary searches, oDPO improves both behavioral calibration and finite-budget search efficiency. Natural-language attains the highest observed held-out fitness. Our analysis shows that the condition input (mutation strength) systematically changes semantic edit composition and that language mutations preserve more parent fitness at matched small-to-moderate behavioral displacement. These results show that language can serve as a steerable, execution-grounded search representation over executable program space.

Access and Full-Text Links

PDF: View PDF
HTML Version: arXiv HTML (experimental)
TeX Source: Source Files
DOI: 10.48550/arXiv.2608.10196
License: Creative Commons Attribution 4.0 International

Citation (BibTeX)

@misc{siper2026elmer,
      title={ELMER: Evolutionary Language Model that Explores and Refines}, 
      author={Matthew Siper and Ahmed Khalifa and Julian Togelius},
      year={2026},
      eprint={2608.10196},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}