跳转至

Humanize：面向智能体编码的判断力工程与构建者-审查者双模型协同框架

Humanize: Judgement Engineering for Agentic Coding

arXiv:2610.08900 [cs.AI]
Subjects: Artificial Intelligence (cs.AI)
Authors: Sihao Liu, Ligeng Zhu, Zijian Zhang, Dongyun Zou, Zhengyang Zhang, Changye Li, Song Bian, Song Han, Tony Nowatzki
Submitted: October 6, 2026
DOI: 10.48550/arXiv.2610.08900

文章背景与核心概要

随着智能体编程 (Agentic Coding) 技术的普及，自动生成代码的门槛与成本大幅降低，但要让 AI 智能体 (AI Agent) 稳定、可靠地交付端到端完整工程，依然存在一道难以逾越的鸿沟——负责写代码的智能体往往极度缺乏对自身工作质量的客观评判能力，容易陷入“自审自查必然失效”的盲目自信。针对这一固有困境，来自学术界与业界的联合研究团队提出了全新的多智能体编排框架 Humanize，开创性地确立了判断力工程 (Judgement Engineering) 理念：在规划、实现、审查与经验沉淀等关键阶段边界处，引入明确且由程序硬性执行的机械门控规则。该框架通过确定性路由钩子强制执行 72 道机械校验门，并引入异构大模型的“构建者-审查者”交替协同机制，确保软件缺陷只有在两个独立模型同时漏检的极罕见情况下才会留存。在经历 108 天、68 个迭代版本的实战演进中，Humanize 在 GitHub 斩获 1,468 颗星，不仅高水准完成了 567 个文件的 gem5 复杂底层系统重构，更在 MLSys 2026 FlashInfer 算子大赛、国际五大学科奥林匹克竞赛以及顶尖形式化数学评测 (PutnamBench 与 Lean-Eval) 中刷新了权威记录。

执行摘要

Executive Summary

尽管基于 AI 智能体的代码生成技术让编写代码变得前所未有地廉价，但要想让其真正可靠地交付可用的软件系统，依然面临着严峻的技术瓶颈——负责写代码的智能体往往是一个极不称职的“自我裁判”，极难察觉自身的逻辑缺陷与漏洞。Humanize 正是为此而生的一种全新多智能体编排工作流，它紧紧围绕判断力工程 (Judgement Engineering) 这一核心支柱展开：在任务规划、代码实现、独立审查以及经验学习的关键阶段分界线上，建立起明确、不可妥协且由程序机械化强制执行的决策约束。

While agentic coding makes code generation inexpensive, reliable completion remains a critical bottleneck because the coding agent is typically a poor judge of its own work. Humanize is a novel multi-agent orchestration workflow built around judgement engineering—explicit, mechanically enforced decisions at the boundaries of planning, implementation, review, and learning.

通过引入确定性路由钩子 (严格强制执行 72 道机械校验门) 并巧妙地在“构建者” (Builder) 模型与“审查者” (Reviewer) 模型之间进行交替接力，Humanize 从机制上保证了代码缺陷只有在两个模型同时漏检的极端情况下才会存留。在历时 108 天、经过 68 个版本的持续打磨迭代中，该框架在开源社区获得了广泛关注 (在 GitHub 上斩获 1,468 颗星) ，并在高复杂度系统工程重构、标准基准测试集以及国际顶级奥林匹克竞赛中展现出了顶尖水平的实测战果。

By utilizing deterministic routing hooks (enforcing 72 mechanical gates) and alternating between builder and reviewer models, Humanize ensures that defects survive only if both models miss them. Across 68 versions over 108 days, the framework gained significant traction (1,468 GitHub stars) and demonstrated state-of-the-art results across complex systems engineering, benchmark datasets, and international Olympiads.

核心工作流机制

Key Workflow Mechanics

  • 规划契约 (Plan Contract) ： 在进入具体的代码执行之前，必须先制定明确的行动方案，并由人类专家进行手动审核与批准；
  • 构建者-审查者交替机制 (Builder-Reviewer Alternation) ： 负责实现的构建者智能体分轮次推进计划，而负责验收的审查者智能体则来自完全不同的模型厂商，专门对完成度与代码质量进行独立把关；
  • 确定性路由 (Deterministic Routing) ： 智能体之间的工作流流转与角色切换完全由硬编码的程序化钩子强力约束，而非交由模型自行主观决定，其中内嵌了 72 道机械门控；
  • 马尔可夫链动力学 (Markov Chain Dynamics) ： 若将代码仓库的状态演化视作一个马尔可夫链 (Markov Chain) ，通过两个独立模型联合采样交替推进，能够最大程度消除单模型的监督盲区。
  • Plan Contract: A human manually approves an explicit plan before execution begins.
  • Builder-Reviewer Alternation: A builder agent implements the plan in rounds, while a reviewer agent from a separate vendor evaluates completion.
  • Deterministic Routing: Workflows and transitions between roles are enforced via programmatic hooks rather than model discretion, incorporating 72 mechanical gates.
  • Markov Chain Dynamics: Viewed as a Markov chain over repository states, alternating agent samples jointly from two models to minimize oversight blind spots.

实际应用与技术成果

Applications & Achievements

Humanize 框架已成功落地于多项高难度的重工业级软件工程实战与权威基准评测之中：

Humanize has been successfully applied to heavy-duty software engineering tasks and benchmark evaluations:

  • 系统软件工程 (Systems Engineering) ： 在上游社区维护者的严格审查下，成功完成了涉及 567 个代码文件的 gem5 构建系统全量迁移；
  • 算子设计智能体 (Kernel Design Agents) ： 深度整合算子专用知识库与性能分析 (Profiling) 反馈回路，在 MLSys 2026 FlashInfer 竞赛中一举斩获全部三个全智能体 (Full-Agent) 赛道的前三名；
  • 奥林匹克竞赛智能体 (Humanize Olympiad Agents, HOA) ： 在 IOI 2026、IMO 2026、IPhO 2026 与 IBO 2024 中均斩获满分，并在 IChO 2026 中取得了高达 418.5/437 分的金牌战绩；
  • 形式化推理与高等数学 (Formal Reasoning & Mathematics) ： 在 PutnamBench 上拿下了无可挑剔的 672/672 全满分，并在 Lean-Eval 排行榜上以 251/303 位列全球第一，在极高难度的数学定理证明中直接与专业数学家同台竞技。
  • Systems Engineering: Successfully completed a 567-file gem5 build-system migration under upstream review.
  • Kernel Design Agents: Integrated a kernel knowledge base and profiling feedback loop, placing in the top three of all three Full-Agent tracks at the MLSys 2026 FlashInfer contest.
  • Humanize Olympiad Agents (HOA): Achieved full scores in IOI 2026, IMO 2026, IPhO 2026, and IBO 2024, alongside a gold-medal score of 418.5/437 in IChO 2026.
  • Formal Reasoning & Mathematics: Scored a flawless 672/672 on PutnamBench and ranked first (251/303) on the Lean-Eval leaderboard, competing directly alongside professional mathematicians.

复盘洞察与关键发现

Postmortem Insights & Observations

通过对 118 份公开任务复盘报告的深入剖析，研究团队总结出了以下关键运行洞察：

An analysis of 118 public postmortems revealed key operational insights:

  • 核心优势 (Strengths) ： 引入独立的跨厂商多模型审查机制，能够极其有效地识别并拦截构建者智能体提出的缺乏依据的主观论断；
  • 现存脆弱点 (Vulnerabilities) ： 判定何时停止迭代的停机可靠性依然是系统的核心薄弱点。在按阶段区分轮次的报告中，多达三分之二的迭代轮次居然发生在代码实现已经被验收通过之后；
  • 说明 (Note) ： 当前收集到的证据属于实际运行中的观察性总结，而非严格控制变量的工作流对照实验研究。
  • Strengths: Independent multi-vendor review effectively catches unsupported claims made by builder agents.
  • Vulnerabilities: Stopping reliability remains a primary weakness. In reports separating rounds by phase, two-thirds of all rounds occurred after implementation was already accepted.
  • Note: Evidence gathered is observational rather than a controlled comparative study of workflows.

获取方式与相关资源

Access & Resources