跳转至

文章背景与核心概要

大语言模型（LLM）虽然擅长检测文本中的道德内容，但简单的检测标准相对较低。本研究旨在探究 LLM 是否能更进一步：区分不同的道德基础，并在几何上组织它们之间的关系。

通过在开源语言模型上训练六个独立的线性探测器（对应道德基础理论 MFT 的分类），该研究揭示了道德知识在表征空间中的结构化方式。研究发现，LLM 跨越了接近最大的独立维度，同时共享一个积极的公共成分，这反映了高度整合的道德特定概念，而不是孤立的检测器或单一的整体。

语言模型如何组织与构建道德知识

作者： Orion Reblitz-Richardson
发布时间： 2026年8月27日
arXiv： 2608.27402 [cs.CL] | DOI： 10.48550/arXiv.2608.27402
代码与输出： GitHub 仓库

执行摘要

While large language models (LLMs) are adept at detecting moral content, simple detection is a relatively low bar. This research investigates whether LLMs go a step further: distinguishing distinct moral foundations and geometrically organizing the relationships between them.

尽管大语言模型（LLM）擅长检测道德内容，但简单的检测标准相对较低。本研究探讨了 LLM 是否能更进一步：区分不同的道德基础，并在几何上组织它们之间的关系。

By training six independent linear probes on open-weight language models—corresponding to the categories of Moral Foundations Theory (MFT)—the study uncovers how moral knowledge is structured in representation space. The findings reveal that LLMs span near-maximal independent dimensions while sharing a positive common component, reflecting deeply integrated moral-specific concepts rather than isolated detectors or a unified monolith.

通过在开源语言模型上训练六个独立的线性探测器（对应《道德基础理论》（MFT）的分类），该研究揭示了道德知识在表征空间中的结构化方式。研究结果表明，LLM 跨越了近乎最大的独立维度，同时共享一个积极的共同成分，这反映出它们代表的是深度整合的道德特定概念，而非孤立的检测器或单一的整体。

核心发现

Key Findings

  • Geometric Integration: Moral foundation directions neither collapse into a single monolithic detector nor completely isolate from one another. Instead, they span a near-maximal number of independent dimensions while sharing a positive, moral-specific common component (mean pairwise cosine similarity of \(0.26\) vs. \(0.013\) for a matched non-moral concept control battery).
  • 几何整合： 道德基础的方向既没有坍缩为单一的整体检测器，也没有彼此完全隔离。相反，它们跨越了近乎最大数量的独立维度，同时共享一个积极的、特定于道德的共同成分（配对余弦相似度均值为 \(0.26\)，而匹配的非道德概念对照组则为 \(0.013\)）。
  • Robust Across Scale and Architecture: This geometric structure remains consistent across different model architectures and scales. Crucially, the model reaches its integration regime early in pre-training, well before probe accuracy fully saturates.
  • 跨规模与架构的鲁棒性： 这种几何结构在不同的模型架构和规模上保持一致。至关重要的是，模型在预训练的早期阶段就已经达到了这种整合状态，远早于探测器准确率完全饱和的时间点。
  • Corpus Statistics Over Theoretical Taxonomy: The model's discovered structure shows no evidence of the "individualizing/binding" distinction predicted by Moral Foundations Theory, instead reflecting underlying corpus statistics.
  • 语料库统计数据优于理论分类： 模型所展现出的结构并未体现出《道德基础理论》所预测的“个体化/绑定”（individualizing/binding）区分，反而反映了底层语料库的统计特征。
  • Representation of Moral Dilemmas: When extended to moral dilemmas, each dilemma direction partially composes from its constituent foundations (at \(2.7\times\) a mismatched-pair baseline), while the majority of its variance encodes conflict-specific structure. Ultimately, the model represents moral tension itself rather than a pre-resolved judgment.
  • 道德困境的表征： 当扩展到道德困境时，每个困境方向部分由其组成的基础构成（达到不匹配对基准的 \(2.7\) 倍），而其大部分方差编码了特定于冲突的结构。最终，模型表征的是道德张力本身，而不是预先解决的判断。

方法论概述

Methodological Overview

  • Linear Probing: Six independent linear probes were trained on open-weight language models, one for each MFT category:
  • Care / Harm
  • Fairness / Cheating
  • Liberty / Oppression
  • Loyalty / Betrayal
  • Authority / Subversion
  • Sanctity / Degradation
  • 线性探测： 在开源语言模型上训练了六个独立的线性探测器，每个探测器对应一个 MFT 类别：
  • 关怀 / 伤害 (Care / Harm)
  • 公平 / 作弊 (Fairness / Cheating)
  • 自由 / 压迫 (Liberty / Oppression)
  • 忠诚 / 背叛 (Loyalty / Betrayal)
  • 权威 / 颠覆 (Authority / Subversion)
  • 圣洁 / 堕落 (Sanctity / Degradation)
  • Comparative Analysis: Evaluated against an identically built, matched non-moral concept battery to isolate moral-specific representations from general semantic clustering.
  • 比较分析： 与采用相同结构、经匹配的非道德概念对照组合进行对比评估，从而将道德特有的表征与一般的语义聚类区分开来。

其他信息

Additional Information