跳转至

文章背景与核心概要

工业级推荐系统的迭代长期以来依赖于复杂且由人工驱动的流程，涵盖了研究、工程实现、离线测试以及线上A/B测试等多个环节。为了简化这一工作流，网易游戏社区App DASHEN的研发团队推出了 AutoLR（最初称为 Auto Launch Review，现已扩展为一个自主化的“研究到上线”评测与执行框架）。

AutoLR 巧妙地架起了大语言模型（LLM）与确定性执行控制器之间的桥梁。其中，大语言模型负责语义推理和代码生成，而严格的确定性防护栏（Guardrails）则用于管理实际执行、指标提取以及系统状态转换，从而在保证系统安全稳定运行的前提下，实现了长周期实验的自动化。

AutoLR：实现工业级推荐系统中从研究到上线评审的自动化

AutoLR: Automating the Path from Research to Launch Review in Industrial Recommender Systems

arXiv ID: 2609.04871
Primary Subject: Artificial Intelligence (cs.AI)
Authors: Qi Zhang, Yanlin Chen, Wenchao Xiao
Submitted On: September 4, 2026

摘要

改进工业级推荐系统传统上是一个复杂、由人工主导的迭代过程，跨越了研究、工程、离线测试和线上 A/B 评估。为了简化这一工作流，作者引入了 AutoLR（最初构建为 Auto Launch Review，后扩展为一个自主的研究到上线框架），并将其部署在网易的游戏社区应用程序 DASHEN 中。

AutoLR 架起了大语言模型（LLM）与确定性执行控制器之间的桥梁。虽然 LLM 处理语义推理和代码生成，但严格的确定性护栏管理着执行、指标提取和状态转换。

Summary

Improving industrial recommender systems is traditionally a complex, human-driven iterative process spanning research, engineering, offline testing, and online A/B evaluations. To streamline this workflow, the authors introduce AutoLR (originally built as Auto Launch Review and expanded into an autonomous research-to-launch harness) deployed within DASHEN, NetEase's gaming-community app.

AutoLR bridges the gap between Large Language Models (LLMs) and deterministic execution controllers. While LLMs handle semantic reasoning and code generation, strict deterministic guardrails manage execution, metric extraction, and state transitions.

核心系统机制

AutoLR 结合了三个核心组件，以可靠地协调长期（多天）的实验周期：

  1. 多专家委员会（Multi-Expert Council）
    一组专家智能体，在实施研究提案之前进行辩论和对抗性评审。
  2. 确定性证据加权探索-利用选择器（Deterministic Evidence-Weighted Exploration–Exploitation Selector）
    一种预算分配机制，在候选方向之间分配有限的试验资源，并结合了来自多专家委员会的重新排序。
  3. 分层知识系统（Layered Knowledge System）
    一个全面的知识库，整合了外部研究文献、生产系统基础知识以及 DASHEN 特定的领域见解（如玩家特征、游戏社区和互动模式）。它利用从配置、补丁、日志、故障和离线实验结果中导出的后验证据持续进行更新。

Key System Mechanisms

AutoLR combines three core components to coordinate long-running (multi-day) experimental cycles reliably:

  1. Multi-Expert Council
    A panel of expert agents that debate and adversarially review research proposals before implementation.
  2. Deterministic Evidence-Weighted Exploration–Exploitation Selector
    A budget allocation mechanism that distributes limited trial resources across candidate directions, incorporating reranking from the Multi-Expert Council.
  3. Layered Knowledge System
    A comprehensive knowledge base integrating external research literature, production-system fundamentals, and DASHEN-specific domain insights (such as player characteristics, game communities, and interaction patterns). It continuously updates using posterior evidence derived from configurations, patches, logs, failures, and offline experimental outcomes.

链接与资源