文章背景与核心概要
大语言模型(LLM)在填充预定义 JSON Schema(结构化输出)时,会通过“模式描述(schema descriptions)”引入一个次要的指令通道。本文探讨了将分类标签的定义放置在系统提示词、用户提示词还是模式描述中效果更好,并评估了两个供应商旗下的十种模型配置。研究发现,虽然模式放置并不总能超越传统提示词,但模式本身具有极高的权威权重——当提示词与模式冲突时,错误的模式指令会导致准确率大幅下降。
此外,研究还揭示了引入中间推理字段的强大威力:在标签字段之前强制要求一个中间推理字段,可以显著提升模型准确率,甚至在所有测试模型中均超越了纯系统提示词方法。这些发现表明,提示词与模式应当被视为一个统一的指令表面,开发者需要保持单一真实数据源(Single Source of Truth),并通过实证验证来优化特定目标模型的架构设计。
你的提示词并非唯一的提示词:大模型对结构化输出模式描述的权重究竟有多高?
作者: Sin-Ying Lin
发布时间: 2026年8月8日
主要学科: 人工智能 (cs.AI)
arXiv ID: arXiv:2608.08254 | DOI: 10.48550/arXiv.2608.08254
摘要 (Summary)
当大语言模型(LLM)填充预定义的 JSON Schema(结构化输出)时,这一过程通过模式描述引入了第二个指令通道。
本文通过一项针对单一字段分类任务(使用无意义的替代标签/nonce labels)的研究,探讨了将分类标签定义放置在系统提示词、用户提示词还是模式描述中更为合适。通过对两个供应商的十种模型配置进行评估,研究发现: * 模式放置并非在所有情况下都优于提示词: 例如,在没有推理能力的 GPT-4.1 和 GPT-5.4 模型中,模式放置的表现比系统提示词低 11 到 13 个百分点。 * 模式具有权威权重: 当提示词和模式发生冲突时,不正确的模式指令会导致 5 到 45 个百分点的准确率下降(例如,Claude Haiku 4.5 的准确率从 52.5% 暴跌至 7%),这表明模式描述可以有效地覆盖提示词指令。 * 中间推理的力量: 在最终标签字段之前加入一个必需的中间推理字段,在存在提升空间时,可以将仅使用模式的准确率提高 15 到 24 个百分点,并且在所有测试模型(包括采用中等推理深度的 Claude Sonnet 4.6)中,其表现始终优于纯系统提示词方法。
最终,建议从业者将提示词和模式视为统一的指令表面,维护单一真实数据源(Single Source of Truth)以避免提示词/模式脱节,并针对其特定的目标模型对放置位置和字段设计进行实证验证。
摘要原文 (Abstract)
Structured output, where an LLM populates a predefined JSON schema, has become a default mechanism for data labeling and information extraction, but it also introduces a second instruction channel through schema descriptions. We tested whether classification-label definitions are better placed in the system prompt, user prompt, or schema description using a single-field classification task with nonce labels across ten model configurations from two vendors. Schema descriptions did not consistently outperform prompt-based placement; for GPT-4.1 and GPT-5.4 without reasoning, schema placement underperformed system prompts by 11-13 percentage points. Yet schemas are not inert metadata: when prompts and schemas conflicted, incorrect schema instructions caused accuracy drops of 5-45 points, with Claude Haiku 4.5 falling from 52.5% to 7%, indicating that schema instructions can override prompt instructions, and GPT-5.5 falling from 100% to 73%. Further, adding a required intermediate reasoning field before the label field improved schema-only accuracy by 15-24 points when headroom existed, exceeding system-prompt-only performance in every case tested. The effect held even for Claude Sonnet 4.6 at medium reasoning, where extended thinking alone did not produce a comparable gain. This suggests that schema design can affect how effectively models use information encoded in field descriptions. Overall, these results indicate that schema influence is model-dependent. In practice, the system prompt remains a safe default for definitions, but the bigger discipline is maintaining a single source of truth and preventing prompt/schema drift. More importantly, schema design itself may be a stronger lever than instruction placement. Practitioners should treat prompts and schemas as a unified instruction surface and empirically validate both placement and field design for their target model.
其他资源与链接 (Additional Resources & Links)
- 查看 PDF (View PDF)
- HTML 版本 - 实验性 (HTML Version (Experimental))
- TeX 源码 (TeX Source)
- 许可协议 (License (CC BY 4.0))
