跳转至

通过语义感知偏差估计衡量大型音频语言模型的公平性

文章背景与核心概要

大型音频语言模型（LALMs）在语音识别和音频问答等任务中的广泛应用，引发了对其在不同人口统计学子群体间公平性的担忧。然而，在语音输入场景下，评估公平性面临着严峻挑战，因为语音内容的语义变化和说话人特征等混杂因素往往会干扰评估结果，导致对模型偏差产生误导性的结论。

本文提出了一种语义感知混合效应回归框架，旨在通过明确处理这些混杂因素来提升公平性评估的准确性。该方法将从被评估模型自身提取的句子级语义嵌入作为协变量，并将说话人身份建模为随机效应。实验结果表明，该方法能有效减少虚假的公平性发现，并提供更稳健、更具可解释性的子群体性能差异评估指标。

论文元数据 (Paper Metadata)

  • arXiv ID: arXiv:2608.13624 [cs.CL]
  • 标题: Measuring Fairness in Large Audio Language Models via Semantic-Aware Bias Estimation
  • 作者: Zhe Liu
  • 提交日期: 2026年8月13日
  • 主要学科: 计算与语言 (cs.CL)
  • 次要学科: 人工智能 (cs.AI), 声音 (cs.SD)
  • DOI: 10.48550/arXiv.2608.13624

摘要 (Abstract)

大型音频语言模型（LALMs）在语音识别和音频问答等音频理解任务中得到了越来越多的应用，这引发了人们对其在不同人口统计学子群体间公平性的担忧。由于存在包括口语内容的语义变化和说话人特定特征在内的混杂因素，语音输入环境下的公平性评估极具挑战性。忽略这些因素可能会导致关于模型偏差的误导性结论。

Large Audio Language Models (LALMs) have seen increasing use for audio understanding tasks such as speech recognition and audio question answering, raising concerns about fairness across demographic subgroups. Fairness evaluation in spoken-input settings is challenging due to confounding factors, including semantic variation in spoken content and speaker-specific characteristics. Ignoring these factors can result in misleading conclusions about model bias.

我们提出了一种用于 LALMs 公平性评估的语义感知混合效应回归框架，该框架明确考虑了这些混杂因素。我们的方法将参考文本的句子级语义嵌入作为协变量，并将说话人身份建模为随机效应。值得注意的是，语义表示是从被评估的同一个 LALM 中提取的，从而实现了对模型自身所感知的语义变化的控制。在模拟数据和真实世界基准测试上的实验表明，所提出的方法大幅减少了虚假的公平性发现，并产生了更稳健且更具可解释性的子群体性能差异估计。

We propose a semantic-aware mixed-effects regression framework for fairness evaluation in LALMs that explicitly accounts for these confounders. Our approach incorporates sentence-level semantic embeddings of reference text as covariates and models speaker identity as a random effect. Notably, semantic representations are extracted from the same LALM under evaluation, enabling semantic control over variation as perceived by the model itself. Experiments on simulated data and real-world benchmarks demonstrate that the proposed approach substantially reduces spurious fairness findings and yields more robust and interpretable estimates of subgroup performance differences.

访问与资源 (Access & Resources)