跳转至

文章背景与核心概要

本文探讨了大语言模型（LLM）在候选人评估中是否会基于申请者姓名的族裔背景、机构声望和地理位置产生系统性歧视。通过针对4个大语言模型和5个专业领域进行总计4,320次API调用的三个析因实验，作者成功隔离并剖析了评估偏见的驱动因素。

核心研究结果表明，机构声望和发表渠道对评估结果的影响远远超过了姓名来源效应。此外，该研究引入了中智偏见指数（\(NBI\langle T,I,F\rangle\)），揭示了低声望背景的候选人在评估过程中所面临的隐藏认识论劣势（如评估不一致性），而传统仅关注均值的分析方法往往会忽略这些指标。

大型语言模型中的机构声望与地理偏见：来自带有自助法置信区间的三个析因实验的证据 (Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals)

作者： Maikel Leyva-Vazquez, Florentin Smarandache
提交时间： 2026年6月10日
主要学科： 计算与语言 (cs.CL)
arXiv ID： arXiv:2608.18107

执行摘要 (Executive Summary)

This paper investigates whether Large Language Models (LLMs) systematically discriminate in candidate evaluations based on applicant name ethnicity, institutional prestige, and geographic location. Utilizing three factorial experiments involving 4,320 API calls across four LLMs and five professional domains, the authors isolate the drivers of evaluation bias.

Key findings reveal that institutional prestige and publication venues heavily outweigh name-origin effects. Furthermore, the study introduces the Neutrosophic Bias Index (\(NBI\langle T,I,F\rangle\)) to uncover hidden epistemic disadvantages—such as evaluation inconsistency—faced by low-prestige profiles, metrics that traditional mean-only analyses typically miss.

本文探讨了大语言模型（LLM）在候选人评估中是否会基于申请者姓名的族裔背景、机构声望和地理位置产生系统性歧视。通过针对4个大语言模型和5个专业领域进行总计4,320次API调用的三个析因实验，作者成功隔离并剖析了评估偏见的驱动因素。

核心研究结果表明，机构声望和发表渠道对评估结果的影响远远超过了姓名来源效应。此外，该研究引入了中智偏见指数（\(NBI\langle T,I,F\rangle\)），揭示了低声望背景的候选人在评估过程中所面临的隐藏认识论劣势（如评估不一致性），而传统仅关注均值的分析方法往往会忽略这些指标。

核心实验发现 (Key Experimental Findings)

研究 1：机构层级与姓名来源效应（\(3 \times 4\) 设计）(Study 1: Institution-Tier vs. Name-Origin Effects (\(3 \times 4\) Design))

  • Institution-Tier Gradient: Demonstrated a statistically robust effect of \(+0.297\) points on a 10-point scale (95% bootstrap CI: \(+0.175\) to \(+0.422\)).
  • Name-Origin Effects: Found to be negligible and statistically non-significant (with the 95% confidence interval crossing zero).
  • 机构层级梯度： 在10分制量表上表现出统计学上稳健的 \(+0.297\)分 的效应（95%自助法置信区间：\(+0.175\) 至 \(+0.422\)）。
  • 姓名来源效应： 被证明微乎其微且在统计学上不显著（其95%置信区间穿过了零点）。

研究 2：声望与原籍国（\(2 \times 2\) 声望 \(\times\) 国家设计）(Study 2: Prestige vs. Country-of-Origin (\(2 \times 2\) Prestige \(\times\) Country Design))

  • Prestige Impact: Effect size of \(+0.185\) (95% CI: \(+0.093\) to \(+0.275\)).
  • Country-of-Origin Impact: Effect size of \(+0.126\) (95% CI: \(+0.037\) to \(+0.218\)).
  • Comparison: The institutional prestige effect exceeds the country-of-origin effect by 1.5x, successfully breaking the prestige-geography confound.
  • 声望影响力： 效应量为 \(+0.185\)（95%置信区间：\(+0.093\) 至 \(+0.275\)）。
  • 原籍国影响力： 效应量为 \(+0.126\)（95%置信区间：\(+0.037\) 至 \(+0.218\)）。
  • 对比： 机构声望效应比原籍国效应高出 1.5倍，成功打破了声望与地理位置的混淆。

研究 3：期刊声望与机构声望（\(2 \times 2\) 期刊 \(\times\) 机构设计）(Study 3: Journal vs. Institution Prestige (\(2 \times 2\) Journal \(\times\) Institution Design))

  • Dominance of Journal Prestige: Journal prestige (comparing Nature against a peripheral open-access journal) dominated institutional prestige by 5.7x.
  • Journal Effect: \(+1.937\) (95% CI: \(+1.811\) to \(+2.062\))
  • Institution Effect: \(+0.341\) (95% CI: \(+0.184\) to \(+0.504\))
  • The "Rescue Effect": Publishing in top-tier venues (Nature) compensates for low institutional prestige more dramatically for candidates from peripheral institutions (e.g., University of Guayaquil: \(+2.127\)) than for elite institutions (e.g., MIT: \(+1.745\)).
  • 期刊声望的主导地位： 期刊声望（对比了 Nature 与边缘开源期刊）对机构声望的影响力高出 5.7倍。
  • 期刊效应： \(+1.937\)（95%置信区间：\(+1.811\) 至 \(+2.062\)）
  • 机构效应： \(+0.341\)（95%置信区间：\(+0.184\) 至 \(+0.504\)）
  • “拯救效应”（"Rescue Effect"）： 在顶级期刊（Nature）上发表文章，对来自边缘机构的候选人（例如瓜亚基尔大学：\(+2.127\)）因机构声望低所造成的劣势之补偿作用，要比对精英机构候选人（例如麻省理工学院：\(+1.745\)）的补偿更为显著。

方法论贡献 (Methodological Contribution)

To quantify evaluation uncertainty and bias more comprehensively, the authors utilized the Neutrosophic Bias Index (\(NBI\langle T,I,F\rangle\)). The indeterminacy (\(I\)) component successfully exposed elevated evaluation inconsistencies for low-prestige candidate profiles—highlighting an epistemic disadvantage that standard mean-only metrics fail to capture.

为了更全面地量化评估的不确定性与偏见，作者采用了中智偏见指数（Neutrosophic Bias Index, \(NBI\langle T,I,F\rangle\)）。其中的不确定性（\(I\)）分量成功揭示了低声望候选人档案在评估中表现出的更高不一致性——凸显了标准“仅均值”指标无法捕捉到的认识论劣势。

资源可用性 (Resource Availability)

(License Reference: Creative Commons Attribution 4.0)
license icon view license

(许可协议参考：知识共享署名 4.0)
license icon 查看许可协议