跳转至

文章背景与核心概要

本文探讨了不同语言模型与人类在自然语言处理中如何处理重复出现的词汇。通过在语义分类和完形填空任务中引入重复启动效应（Repetition Priming）实验，研究人员对比了5个模型家族中1.5B到14B参数规模的15款大语言模型，并将其与接受相同刺激材料的人类受试者进行了对比。

研究结果揭示了处理风格上的根本性分化： * 基础大模型（Base Models）表现出自动加工（automatic processing）特征，表现为稳定、即时的促进效应，且该效应与对先前出现的词汇的注意力呈正相关。 * 指令大模型（Instruct Models）表现出受控加工（controlled processing）特征，其促进效应随间隔（lag）衰减、在缺乏预期语境时崩溃，并在更大规模下转变为干扰效应。 * 人类（Humans）则展现出混合特征（对间隔敏感的促进效应但无干扰效应），这表明无论是基础模型还是指令模型，都未能完全复制人类的认知处理机制。

Automatic or Controlled? Repetition Priming Reveals Divergent Processing in Base LLMs, Instruct LLMs, and Humans

自动还是受控？重复启动效应揭示了基础大模型、指令大模型与人类的思维处理分化

Authors: Jinglei Ren, Yuyue Wang
Submitted: August 5, 2026
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
arXiv: 2608.14681 [cs.CL]

📌 Summary

📌 摘要与总结

This paper investigates how different language models and humans process repeated words in natural language. Using repetition priming experiments across semantic categorization and cloze completion tasks, the researchers compared 15 models (ranging from 1.5B to 14B parameters across five families) against human participants given identical stimuli.

本文研究了不同的语言模型和人类在自然语言中如何处理重复出现的词汇。通过跨语义分类和完形填空任务的重复启动效应（repetition priming）实验，研究人员将15个模型（涵盖五个模型家族、参数量从1.5B到14B不等）与接受相同刺激的人类参与者进行了对比。

The findings reveal a fundamental divergence in processing styles: * Base Models exhibit automatic processing, characterized by stable, immediate facilitation that correlates with attention to prior occurrences. * Instruct Models exhibit controlled processing, showing facilitation that decays with lag, collapses without expected context, and turns into interference at larger scales. * Humans display a hybrid profile (lag-sensitive facilitation without interference), indicating that neither model variant fully replicates human cognitive processing.

研究结果揭示了处理风格上的根本分化： * 基础模型表现出自动加工，其特点是稳定、即时的促进作用，且该作用与对先前出现的词汇的注意力相关。 * 指令模型表现出受控加工，其促进作用随间隔而衰减，在没有预期上下文时崩溃，并在更大规模时转变为干扰。 * 人类表现出混合特征（对间隔敏感的促进作用但无干扰），这表明这两种模型变体都不能完全复制人类的认知处理。

📖 Abstract

📖 论文摘要

Words recur constantly in natural language use, yet it remains unclear whether language models reactivate prior representations or re-evaluate repeated words afresh, and whether post-training changes this default behavior. We apply repetition priming (Shiffrin and Schneider, 1977) to 15 models across five model families (1.5B-14B parameters) in two tasks, semantic categorization and cloze completion, with matched human experiments using identical stimuli. We find that base models exhibit automatic processing: they show immediate facilitation that remains stable across lags, partially survives context removal, and correlates with attention to prior occurrences. Instruct models exhibit controlled processing: their facilitation decays with lag, collapses without expected context, and reverses to interference at larger scales. Within the Qwen 2.5 family, this dissociation increases monotonically with model scale, suggesting that post-training progressively alters repetition processing. Humans show a hybrid profile, with lag-sensitive facilitation resembling instruct models but without interference, suggesting that neither model type fully captures human cognition. Our findings reveal a qualitative shift in how language models process repeated information after post-training and provide mechanistic evidence for the divergence between model behaviors.

在自然语言的使用中，词汇不断重复出现，但目前尚不清楚语言模型是重新激活先前的表征，还是重新评估重复的词汇，以及后训练是否改变了这种默认行为。我们在两个任务（语义分类和完形填空）中，对五个模型家族的15个模型（1.5B-14B参数）应用了重复启动效应（Shiffrin and Schneider, 1977），并进行了使用相同刺激的匹配人类实验。我们发现基础模型表现出自动加工：它们显示出即时的促进作用，在不同间隔下保持稳定，部分能够经受住上下文移除的考验，并与对先前出现的注意力相关。指令模型表现出受控加工：它们的促进作用随间隔衰减，在没有预期上下文时崩溃，并在更大规模下反转为干扰。在Qwen 2.5家族中，这种分离随着模型规模呈单调增加，这表明后训练逐渐改变了重复处理过程。人类表现出混合特征，具有类似于指令模型的对间隔敏感的促进作用，但没有干扰，这表明这两种模型类型都不能完全捕捉人类认知。我们的研究结果揭示了语言模型在后训练后处理重复信息方式上的质变，并为模型行为的分化提供了机制上的证据。

🔗 链接与资源

license icon view license