跳转至

同行投票LLM智能体压力测试：发现信息流诱导的词汇趋同，但分布式来源并未带来可靠的匹配曝光优势

文章背景与核心概要

本研究探讨了大型语言模型（LLM）智能体在群体层面的行为表现。研究者引入了名为 PV-SST（同行投票社交平台测试床）的实验框架，通过包含448次试验和112个完整模块的预注册实验，深入分析了基于同行排名推荐的信息流以及分布式信息来源对智能体动态的影响。

研究发现，尽管同行排名信息流能够可靠地驱动“词汇趋同”（即智能体最终生成的文本相似度增加），但这种机制并未导致普遍的观点捕获，也未能为分布式信息来源提供可靠的匹配曝光优势。该研究严格限定于合成LLM智能体群体，旨在揭示模型交互的内在机制，而非对人类社会或商业生产平台进行直接的因果推断。

摘要

仅凭单智能体基准测试无法准确描述大型语言模型（LLM）智能体的群体行为。我们引入了 PV-SST（同行投票社交平台测试床），并报告了一项经过预注册且实验条件固定的匹配曝光实验。该实验涵盖了四个主题、四个未使用过的随机种子、四个开源模型家族以及三个预先指定的更大规模变体。

实验共包含 448 次试验和 112 个完整的“模型-主题-种子”模块。与仅有主题的对照组相比，由同行点赞排序的上一轮帖子信息流增加了最终轮的词汇相似度。这一发现在四个模型家族的核心面板（配对平均差 +0.0082 TF-IDF 余弦单位，95% 区块自助法置信区间 [0.0043, 0.0121]，随机化 \(p=0.000105\)，\(n=64\) 个模块）以及三个变体规模扩展组（+0.0109 [0.0069, 0.0151]，\(p=0.000001\)，\(n=48\)）中均成立。由于该对比将同行帖子曝光与排序机制捆绑在一起，因此无法单独识别排序效应。

Population-level behavior in large-language-model (LLM) agents cannot be characterized by single-agent benchmarks. We introduce PV-SST, a peer-voted social-platform testbed, and report a separately frozen, preregistered matched-exposure experiment spanning four topics, four unused seeds, four open-weight model families, and three prespecified larger variants.

The experiment comprises 448 trials and 112 complete model-by-topic-by-seed blocks. Relative to a topic-only control, a feed of previous-round peer posts ranked by peer-generated likes increases final-round lexical similarity in both the four-family core panel (paired mean difference +0.0082 TF-IDF cosine units, 95% block-bootstrap CI [0.0043, 0.0121], randomization \(p=0.000105\), \(n=64\) blocks) and the three-variant size extension (+0.0109 [0.0069, 0.0151], \(p=0.000001\), \(n=48\)). This contrast bundles peer-post exposure with ranking and therefore does not identify a ranking-only effect.

在核心面板中，对立观点的存活率有所下降（-3.9 个百分点 [-6.8, -1.6]，\(p=0.0068\)），但在更大规模的变体中并未得出确切结论（-1.0 pp [-3.1, 0.4]，\(p=0.50\)）。在固定对抗性印象的前提下，四个分布式来源并未比单一来源更有效地改变诚实智能体的立场。预注册的“分布式减去单一”对比在核心面板中呈正向但无定论（+0.057 [-0.009, 0.125]，\(p=0.112\)），在更大规模变体中则呈负向（-0.040 [-0.113, 0.035]，\(p=0.332\)），未能通过预先指定的跨模型和跨主题一致性标准。

因此，稳健的结果是在测试的同行排名信息流下出现了词汇趋同，而非普遍的观点捕获或一般的协调优势。本研究仅评估合成LLM智能体群体，并不估计对人类或生产平台的影响。

Opposite-side survival falls in the core panel (-3.9 percentage points [-6.8, -1.6], \(p=0.0068\)) but not conclusively in the larger variants (-1.0 pp [-3.1, 0.4], \(p=0.50\)). Holding adversarial impressions fixed, four distributed sources do not reliably move honest-agent stance more than one source. The preregistered distributed-minus-single contrast is positive but inconclusive in the core panel (+0.057 [-0.009, 0.125], \(p=0.112\)) and negative in the larger variants (-0.040 [-0.113, 0.035], \(p=0.332\)), failing the prespecified cross-model and cross-topic consistency criterion.

Thus the robust result is lexical convergence under the tested peer-ranked feed, not general opinion capture or a general coordination advantage. The study evaluates synthetic LLM-agent populations; it does not estimate effects on people or production platforms.

资源与产出