AI 智能体真的懂计算机体系结构吗？

Do AI Agents Understand Computer Architecture?

文章背景与核心概要

随着人工智能技术深入底层硬件领域，AI 智能体 (AI Agent) 越来越多地被委以设计和优化硬件加速器的重任，并展现出令人瞩目的性能提升，但学界一直存在一个根本性疑问：AI 究竟是在真正理解并推理计算机体系结构，还是仅仅在多维参数空间中进行高效的盲目黑盒搜索？为了拨开这一迷雾，研究团队推出了全新的 AutoTuring 基准测试 (Benchmark) 框架，让同一个 AI 智能体在面对完全相同的 15 维硬件设计空间时，分别在赋予明确物理语义的“知情架构师”和抹去所有物理含义的“盲盒搜索者”两种不同设定下执行优化任务。评测结果揭示，掌握体系结构物理知识能让知情智能体在 FP16 GEMM 算子优化中相比盲盒智能体平均取得 12.3% 的性能提升，并大幅节省 70.1% 的底层硬件仿真器调用开销；然而，引入结构化的审校反思回路 (Critic Loop) 却能帮助盲盒智能体抹平绝大部分差距，表明体系结构先验认知与结构化反思机制在优化效能上表现出奇妙的相互替代特性。这项工作首次在保持问题本质与解空间完全一致的前提下，量化了“理解物理意义”对 AI 硬件设计的真实价值，为未来芯片自动化设计以及专用大语言模型 (Large Language Model, LLM) 智能体的协同演化提供了兼具洞察力与方法论意义的重要参考。

内容概要

Summary

随着 AI 智能体越来越多地参与硬件加速器的设计与优化，并在实践中屡获佳绩，一个根本性的疑问始终悬而未决：AI 智能体究竟是在真正理解并推理计算机体系结构，还是仅仅在庞大的参数空间中进行盲目的黑盒搜索？

As AI agents are increasingly used—and praised—for designing and optimizing hardware accelerators, a fundamental question remains: Are they truly reasoning about computer architecture, or are they just blindly searching over parameter spaces?

为了探寻真相，研究人员打造了名为 AutoTuring 的评估框架，让同一个 AI 智能体在两种截然不同的表述设定下，探索完全相同的 15 维硬件加速器设计空间：

To find out, researchers introduced AutoTuring, an evaluation framework that tests AI agents using the exact same 15-dimensional accelerator space under two different framings:

知情设定 (Informed Framing)：向智能体清晰展示具有明确物理含义的具名硬件架构旋钮，并配备详尽的硬件仿真器性能计数器反馈。
盲盒设定 (Blind Framing)：抹去所有物理背景与硬件语义，仅将参数作为被约束在 \([0,1]\) 区间内的匿名抽象变量呈现给智能体。

Informed Framing: Presented as named architectural knobs equipped with simulator counters.

Blind Framing: Presented as anonymous variables constrained to \([0,1]\).

通过将评估器、合法参数空间以及理论可达的最优解完全锁定为同一标准，实验中唯一的变量就是这些配置参数对智能体而言是否具备实际的“物理与业务含义”。研究结果揭示，计算机体系结构的专业知识确实能带来显著回报——知情智能体的优化结果平均超越了模拟的 H200 基线 5.4%，相比盲盒状态下的智能体更是大幅领先 12.3%，同时所需的底层仿真器调用次数锐减了 70.1%。然而，这种优势并非不可替代：为盲盒智能体引入一套结构化的审校反思回路，能够帮助其追平绝大部分的性能差距；但同样的审校回路却几乎无法为知情智能体带来额外提升。这一现象生动地表明，体系结构领域知识与结构化反思机制在硬件优化中更多地表现为相互替代的关系，而非相互叠加的互补关系。

By keeping the evaluator, legal space, and reachable optima identical, the only variable is whether the problem "means" anything to the agent. The findings reveal that architectural knowledge pays off—the informed agent beats a modeled H200 baseline by 5.4% and the blind agent by 12.3% on average, while requiring 70.1% fewer simulator calls. However, this advantage isn't exclusive: a structured critic loop helps the blind agent recover most of that performance gap while offering little benefit to the informed agent, suggesting that architectural knowledge and structured critique function as substitutes rather than complements.

论文元数据

Paper Metadata

arXiv 标识符： arXiv:2609.19387 [cs.AI]
学科领域： 人工智能 (cs.AI) ；硬件架构 (cs.AR)
ACM 分类： C.1.3；I.2.8；B.8.2
提交时间： 2026 年 9 月 16 日
论文作者： Ambika Sharan, Grigory Chirkov, Soheil Abbasloo

arXiv Identifier: arXiv:2609.19387 [cs.AI]

Subjects: Artificial Intelligence (cs.AI); Hardware Architecture (cs.AR)

ACM Classes: C.1.3; I.2.8; B.8.2

Submitted on: September 16, 2026

Authors: Ambika Sharan, Grigory Chirkov, Soheil Abbasloo

论文摘要

Abstract

如今，AI 智能体越来越多地被委以芯片硬件设计的重任，且不断有报告指出它们取得了优异的优化成果。然而，这些报告固然证明了硬件设计得到了实质性改进，却始终无法解释改进背后的深层原因。一个成功优化了加速器的智能体，究竟是在深入理解并推理底层硬件机器的运行机理，还是仅仅在完全不理解参数实际物理意义的前提下展现了出色的数值搜索能力？唯有前者所代表的深度认知能力，才能够真正迁移到未来的下一代全新硬件架构中。现有的基准测试往往只更换不同的智能体，却保持问题的呈现形式固定不变，因此根本无法将这两种能力区分开来。本研究采取了截然相反的评估范式：AutoTuring 将同一个 15 维加速器设计空间分两次交给同一个智能体——一次呈现为附带仿真器计数器的具名硬件架构旋钮，另一次则呈现为限制在 \([0,1]\) 区间内的纯匿名数学变量；在此过程中，性能评估器、合法搜索空间以及可达的最优点完全保持一致，唯一的差异就是这道设计难题对智能体而言是否具备真实的“物理含义”。两种设定下的性能差距，正是衡量其体系结构理解力的标尺。在包含 9 个核心算子的半精度通用矩阵乘法 (FP16 GEMM) 任务组评测中，理解物理意义带来了实打实的回报：知情架构师智能体相比模拟的 H200 基准提升了 5.4%，相比盲盒状态下的自己平均领先 12.3%，同时仿真器调用次数大幅减少了 70.1%。然而，这种回报并非不可替代：引入结构化审校回路能够帮助盲盒智能体追平绝大部分性能差距，却无法给知情架构师带来任何额外收益；这表明硬件体系结构知识与结构化反思回路在优化中更多充当了相互替代的角色，而非锦上添花的互补关系。我们在此汇报这些在单款模拟加速器上经每种条件 5 至 6 次运行所得出的初步发现，并强调本研究的核心贡献在于这一创新性的对比评估方法本身，而非具体的某款加速器硬件设计。

Agents are increasingly asked to design hardware, and increasingly reported to succeed. Such reports establish that a design improved; they cannot establish why. An agent that improves an accelerator may be reasoning about the machine, or may be searching competently over knobs whose meaning it never recovers -- and only the first transfers to the next architecture. Existing evaluations cannot tell the two apart, because they vary the agent while holding the framing of the problem fixed. We do the opposite. AutoTuring hands the same agent the same 15-dimensional accelerator space twice: once as named architectural knobs with simulator counters, once as anonymous variables on [0,1], with the evaluator, the legal space and the reachable optima held identical, so that the only thing that varies is whether the problem means anything. The gap between the two is the measurement. On a nine-kernel FP16 GEMM basket, meaning pays: the architect beats a modeled H200 by 5.4% and its blind counterpart by 12.3% on average, with 70.1% fewer simulator calls. It does not pay uniquely: a critic loop recovers most of that gap for the blind agent and buys the architect nothing, so architectural knowledge and structured critique behave as substitutes rather than as complements. We report these as preliminary findings -- five to six runs per condition on a single modeled accelerator -- and take the comparison itself, not the accelerator, to be the contribution.