T1：面向长程终端任务的强化学习智能体
T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks
arXiv:2609.11042 [cs.LG]
Subjects: Machine Learning (cs.LG), Artificial Intelligence (cs.AI)
Authors: Junyao Yang, Yucheng Shi, Zhongzhi Li, Ruhan Wang, Zongxia Li, Haitao Mi, Leowei Liang
Submitted: 10 September 2026
arXiv ID: arXiv:2609.11042
DOI: 10.48550/arXiv.2609.11042
文章背景与核心概要
随着 AI 智能体 (AI Agent) 的应用场景加速拓展至自动化编程、科学探索等长链条复杂场景，在命令行终端中稳定执行长程任务成为了核心技术制高点。传统大模型在面对需要数百步工具调用的任务时，往往容易发生状态漂移、轨迹发散和过拟合。本项研究推出了总参数量达 122B 的混合专家模型 (Mixture-of-Experts, MoE) 智能体——T1。该模型通过在云端沙箱中操控真实 Shell 终端并依托强化学习进行端到端训练，结合密集过程奖励、Token 标识符训练优化 (TITO) 与路由重放 (R3) 等创新训练配方，在 Terminal-Bench 2.1 上取得了 64.0% 的高解题率，并在超长程终端基准测试中以 27.9% 的成绩超越了 GPT-5.4 与 GLM-5.1。
📋 内容摘要
Summary
T1 是一个总参数量达 122B 的混合专家模型 (Mixture-of-Experts, MoE) ，通过强化学习 (Reinforcement Learning) 训练以在云端沙盒环境中执行长程终端任务（单任务可支持处理超过 300 轮以上的工具调用）。为了实现稳定的行动者-评论家 (Actor-Critic) 训练，并获得真实的通用能力迁移而非在基准测试上过拟合，作者团队提出了一套全面的训练配方：包含密集过程奖励机制、Token 标识符训练优化 (Token Identifiers Training Optimization, TITO) 以及 Rollout 路由重放 (Rollout Routing Replay, R3)。在 Terminal-Bench 2.1 基准测试中，T1 成功解决了 64.0% 的任务（相较基座模型的 43.8% 实现了大幅跃升）；而在更具挑战性的长程终端基准 Long-Horizon Terminal Bench 上，其解题率达到 27.9% ，表现超越了 GPT-5.4 与 GLM-5.1 等前沿模型。
T1 is a 122B-parameter Mixture-of-Experts (MoE) model trained via reinforcement learning to execute long-horizon terminal tasks in a cloud sandbox environment (handling over 300+ tool-call turns per task). To achieve stable actor-critic training and genuine capability transfer without benchmark overfitting, the authors introduce a comprehensive training recipe featuring dense process rewards, Token Identifiers Training Optimization (TITO), and Rollout Routing Replay (R3). On Terminal-Bench 2.1, T1 successfully resolves 64.0% of tasks (up from 43.8% in the base model), and on the Long-Horizon Terminal Bench, it reaches 27.9%, outperforming models like GPT-5.4 and GLM-5.1.
📑 论文摘要
Abstract
智能体的实际应用正在快速转向涉及长决策链的复杂任务（如自主编程与科学探索），其中命令行终端操作类任务显得尤为关键。我们隆重推出了 T1——这是一个总参数规模达 122B、采用强化学习进行端到端训练的混合专家模型。它能在云端隔离沙箱中操控真实的 Shell 环境，在单个长程任务中连续执行超过 300 轮以上的工具调用，并通过运行每项任务专属的验证器程序来获取奖励反馈信号。
Agent usage is shifting toward long-horizon tasks such as coding and scientific discovery, among which terminal tasks are especially important. We introduce T1, a Mixture-of-Experts model of 122B total trained with reinforcement learning, operating a real shell in a cloud sandbox for up to 300+ tool-call turns per task, rewarded by executing each task's own verifier.
我们为此构建了一套完整的工程与训练配方： 1. 强力热启动预热：通过密集过程奖励机制对完整交互轨迹打分（依据通过验证器的绝对数量），从而有效稳定 Actor-Critic 强化学习训练过程。 2. 基于 TITO 与 R3 的高稳定性优化： - TITO 构建：基于采样时实际生成的精确 Token 标识符进行训练，并在多轮交互的轮次边界处引入漂移修复机制。 - Rollout 路由重放 (R3)：在 MoE 的每一个专家层中，严格记录采样器在每个 Token 上的专家选择路径，并在梯度反向传播训练期间无缝重放。 3. 分布外 (OOD) 强化训练语料：构建与 Terminal-Bench 2.1 彻底隔离的独立种子与合成任务池，以确保模型性能的飞跃体现的是真实的跨领域能力迁移，而非针对评估基准的单纯过拟合。
We provide a comprehensive recipe: 1. Aggressive Warm-Starting: Stabilizes actor-critic training, utilizing a dense process reward scoring trajectories by the absolute number of passing verifiers. 2. Stable Optimization via TITO and R3: - TITO Construction: Training on the exact sampled token identifiers with drift repair at turn boundaries. - Rollout Routing Replay (R3): Recording the sampler's per-token expert choices at every MoE layer and replaying them during training. 3. Out-of-Distribution Training Corpus: Isolated seeds and synthesized tasks disjoint from Terminal-Bench 2.1 to ensure gains reflect genuine capability transfer over benchmark overfitting.
通过 TITO 与 R3 的协同优化，我们将模型训练与推理阶段的对数概率差异从 0.021 骤降至 0.013 ，并在损失计算区域实现了完全对齐、零 Token 漂移。
Together, TITO and R3 cut the training-to-inference log-probability difference from 0.021 to 0.013, with exactly aligned zero token drift in the loss region.
📊 评测结果与模型表现
Results & Performance
- Terminal-Bench 2.1 基准：后训练流水线将模型初始解题率从基座模型的 43.8% 提升至 64.0% 。
- Long-Horizon Terminal Bench 长程基准：T1 达到了 27.9% 的通过率，成功超越了 GPT-5.4 与 GLM-5.1 。
- Terminal-Bench 2.1: Post-training pipeline raises the initial base model performance from 43.8% to 64.0% resolved.
- Long-Horizon Terminal Bench: T1 reaches 27.9%, successfully surpassing GPT-5.4 and GLM-5.1.
🔗 全文阅读与相关资源
Full-Text & Resources
