跳转至

文章背景与核心概要

长文本生成暴露了大语言模型（LLM）在架构上的显著局限性。即使是强大的 70B 参数模型，在超过 16k 令牌后也会经历“长度崩塌”（length collapse），而多章节生成则经常因“中间迷失”（lost-in-the-middle）现象导致属性漂移。

为了解决这一问题，“先大纲、后写作”（outline-first, write-later）的范式已被广泛采用。然而，目前的研究通常评估最终生成的文本，而不是大纲本身——这混淆了本应解耦的两个不同评估阶段。本文针对 7 个具有代表性的长文本生成框架，在 3 种粒度（单章节、多章节和整本书）上引入了统一的直接对比基准，并配套提出了基于锚点的大模型裁判（LLM-as-a-judge）评估协议。

A Multi-Framework Comparison of Outline Stages in Long-Form Generation with LLMs

Authors: Yifan Song
Submitted: August 13, 2026
Primary Subject: Computation and Language (cs.CL)
Secondary Subjects: Artificial Intelligence (cs.AI)
arXiv: 2608.26177 [cs.CL]

📋 Executive Summary

大语言模型（LLMs）在长文本生成任务中暴露出显著的架构局限性。即便是强大的 70B 参数模型，在处理超过 16k 令牌的内容时也会遭遇“长度崩塌”，而多章节生成则常因“中间迷失”现象引发属性漂移。

Long-form text generation exposes significant architectural limitations in Large Language Models (LLMs). Even powerful 70B-parameter models experience "length collapse" past 16k tokens, while multi-chapter generation frequently induces attribute drift caused by the "lost-in-the-middle" phenomenon.

为此，“先大纲、后写作”的范式得到了广泛应用。然而，目前的研究通常只评估最终生成的文本，而非大纲本身——这混淆了两个本应解耦的独立评估阶段。

To address this, the "outline-first, write-later" paradigm has become widely adopted. However, current research typically evaluates final generated text rather than the outline itself—conflating two distinct evaluation stages that should be decoupled.

本文针对 7 个具有代表性的长文本生成框架，在 3 种粒度（单章节、多章节以及整本书）上引入了统一的直接对比基准，并提出了基于锚点的 LLM-as-a-judge（大模型作为裁判）评估协议。

This paper introduces a unified head-to-head benchmark across 7 representative long-form generation frameworks over 3 granularities (single-chapter, multi-chapter, and whole-book), alongside an anchor-based LLM-as-a-judge evaluation protocol.

🔍 Key Findings & Abstract

  • 框架专业化： 在 21 个“框架-粒度”测试单元中，没有任何单一框架能够实现普遍领先。性能在很大程度上取决于框架固有的输出形式与目标生成粒度的匹配程度。例如，SuperWriter 在受长度限制的单章节任务中表现出色，但其优势在整本书生成模式下有所减弱。
  • Framework Specialization: Across 21 framework-granularity test cells, no single framework universally dominates. Performance heavily relies on how well a framework's intrinsic output form matches the target generation granularity. For instance, SuperWriter excels in length-constrained single-chapter tasks, but its advantage diminishes in whole-book generation modes.
  • 大纲与写作的解耦： 基于大纲质量的排名与最终写作质量的排名仅呈中等程度的相关性，这为大纲-写作解耦原则提供了实证支持。
  • Outline vs. Writing Decoupling: Rankings based on outline quality correlate only moderately with final writing rankings, providing empirical support for the outline-writing decoupling principle.
  • 局限性： 当前的计算限制约束了写作端的评估子集。未来的迭代将扩大样本规模并整合跨模型评估器，以增强统计严谨性。
  • Limitations: Current computational constraints restricted the writing-side evaluation subset. Future iterations will scale sample sizes and integrate cross-model evaluators to enhance statistical rigor.