跳转至

位置与内容：解构大模型结构化输出中的结构与内容错误

文章背景与核心概要

本文探讨了大语言模型（LLM）在生成 JSON 和表格等结构化输出时所面临的生成失败问题。作者指出，传统的评估方法往往将两种截然不同的错误模式混为一谈：即“位置错误”（正确的值出现在了错误的位置）和“内容错误”（在预定位置生成了错误的值）。为了解决这一问题，研究团队提出了“结构-内容解构”（Structure-Content Decomposition, SCD）框架，旨在独立衡量结构保真度和内容准确性。

通过对从 7B 参数到前沿模型等六种模型的评估，研究发现随着输出复杂度的增加，结构保真度的下降速度和严重程度均远超内容准确性。针对这一发现，作者提出了 SA-RLVR 方法，将 SCD 指标转化为可通过 GRPO 进行强化学习的验证性奖励。实验证明，该方法在保持通用性的前提下，显著提升了模型在不同领域和模式下的结构定位能力。

摘要

JSON 和表格等结构化输出是现代基于 LLM 的系统的核心，然而目前的生成失败评估方式过于单一，混淆了两种不同的错误模式：位置错误（正确的值出现在错误的位置）和内容错误（在预定位置生成了错误的值）。

Structured outputs such as JSON and tables are central to modern LLM-based systems, yet generation failures are evaluated monolithically, conflating two distinct error modes: placement errors (correct values at wrong positions) and value errors (wrong values at intended positions).

我们引入了“结构-内容解构”（Structure-Content Decomposition, SCD）框架，该框架能够独立衡量结构保真度和内容准确性。通过将 SCD 应用于六种模型（从 7B 到前沿模型）的嵌套 JSON 和表格任务，我们发现了一个一致的现象：随着复杂度的增加，结构保真度的下降比内容准确性更早且更剧烈。在最高复杂度下，即使是具备推理能力的 DeepSeek-V4-Flash 也会错置 35% 的已召回值，而 Qwen2.5-7B 的错置率高达 74%。

We introduce Structure-Content Decomposition (SCD), a framework that independently measures structural fidelity and content accuracy. Applying SCD to nested JSON and table tasks across six models (7B to frontier), we uncover a consistent phenomenon: structural fidelity degrades earlier and more sharply than content accuracy as complexity increases. At the highest complexity, even DeepSeek-V4-Flash (with reasoning) misplaces 35% of recalled values, while Qwen2.5-7B misplaces 74%.

受控消融实验表明，这种模式与模型对语义捷径的依赖有关，而非对输出结构的拓扑理解。基于这些发现，我们提出了 SA-RLVR，将 SCD 指标转化为可通过 GRPO 进行强化学习的验证性奖励。

Controlled ablations suggest that this pattern is associated with reliance on semantic shortcuts rather than topological understanding of output structure. Based on these findings, we propose SA-RLVR, converting SCD metrics into verifiable rewards for reinforcement learning via GRPO.

SA-RLVR 成功优化了不同拓扑结构下的结构寻址能力： * 将 JSON 值放置准确率（VPA）从 26% 提升至 63%，同时能够泛化到未见过的模式。 * 在表格领域持续推动 VPA 的提升，证明了结构感知奖励可以直接增强多领域的结构定位能力。

SA-RLVR successfully optimizes structural addressing across distinct topologies: * Lifts JSON Value Placement Accuracy (VPA) from 26% to 63% while generalizing to held-out schemas. * Consistently drives VPA improvements in the table domain, demonstrating that structure-aware rewards can directly enhance multi-domain structural positioning.

元数据

  • arXiv ID: arXiv:2608.25358 [cs.AI]
  • 学科: 人工智能 (cs.AI)
  • 作者: Yiwei Zhang, Chengke Wu, Li Wang, Jianqiang Li
  • 提交日期: 2026年8月26日
  • 备注: 13 页，4 张图表

链接与资源