用双判别器分离协变量漂移与机制变化：具备精确协变量-概念分解的条件差异度指标 CJSD

文章背景与核心概要

在机器学习与数据分析中，当需要对比两个数据集时，一个核心挑战在于如何区分它们之间的差异是由输入分布的变化（即“协变量漂移”）引起的，还是由底层任务标注规则的改变（即“概念/机制变化”）引起的。传统的评估方法往往将这两种变化混为一谈，难以进行精细化的根因定位。

本文引入了一种名为条件詹森-香农差异度（Conditional Jensen-Shannon Discrepancy, 简称 CJSD）的创新指标。该方法利用任务指示变量 $Z$ 以及链式法则 $I(Z;X,Y) = I(Z;X) + I(Z;X,Y)$，将总体的任务差异干净利落地拆分为协变量轴和函数轴。其核心方法论突破在于：这两个轴均可仅通过普通分类器进行估计，而无需依赖任务特定的预测器、生成模型或自助法（bootstrap）替代方案，为模型审计、合成数据验证和公平性检查提供了强大的全新工具。

执行摘要 / Executive Summary

When comparing two datasets, how can we determine what portion of their difference is caused by changes in the input distribution (covariate shift) versus changes in the underlying task labeling rules (concept/mechanism change)?

在对比两个数据集时，我们如何确定它们之间的差异有多少是由输入数据集分布的变化（协变量漂移）引起的，又有多少是由底层任务标注规则的变化（概念/机制变化）引起的？

This paper introduces the Conditional Jensen-Shannon Discrepancy (CJSD). Leveraging a task indicator $Z$ and the chain rule $I(Z;X,Y) = I(Z;X) + I(Z;Y|X)$, CJSD splits total task discrepancy cleanly into a covariate axis and a functional axis. The primary methodological breakthrough is that both axes are estimable using ordinary classifiers—without requiring task-specific predictors, generative models, or bootstrap surrogates.

本文介绍了条件詹森-香农差异度（Conditional Jensen-Shannon Discrepancy, CJSD）。利用任务指示变量 $Z$ 以及链式法则 $I(Z;X,Y) = I(Z;X) + I(Z;Y|X)$，CJSD 将总体的任务差异清晰地拆分为协变量轴和函数轴。该方法的主要方法论突破在于：这两个轴都可以使用普通分类器进行估计，而无需任务特定的预测器、生成模型或自助法替代方案。

核心理论贡献 / Key Theoretical Contributions

Exact Covariate-Concept Decomposition: Quantifies dataset differences via the difference of two discriminators' held-out cross-entropies: $$\mathcal{D}_{\text{CJS}} = \text{CE}(Z \mid X) - \text{CE}(Z \mid X, Y)$$ This precisely captures the exact portion of dataset discrepancy that covariate shift cannot explain.

精确的协变量-概念分解： 通过两个判别器在保留集（held-out）上的交叉熵之差来量化数据集差异： $$\mathcal{D}_{\text{CJS}} = \text{CE}(Z \mid X) - \text{CE}(Z \mid X, Y)$$ 这精确捕获了协变量漂移无法解释的那部分数据集差异。

Covariate-Null Property: Proves that the functional axis evaluates to exactly zero under pure covariate shift, regardless of how severe the shift is.

协变量零值性质（Covariate-Null Property）： 证明了在纯协变量漂移下，无论漂移多么严重，函数轴的评估值都严格为零。

Drift-Mass Law: Establishes that $\mathcal{D}_{\text{CJS}} / \ln 2$ equals the mass of the disagreement region for deterministic labels.

漂移质量定律（Drift-Mass Law）： 证明了对于确定性标签，$\mathcal{D}_{\text{CJS}} / \ln 2$ 等于分歧区域的质量（mass）。

Misspecification Control: Proves a one-sided inequality bounding estimation errors unconditionally by the excess risk of a single discriminator.

错误指定控制（Misspecification Control）： 证明了一个单边不等式，该不等式通过单个判别器的超额风险（excess risk）无条件地约束了估计误差。

Fixed-Measure Metrization: Establishes identifiably via a dedicated identifiability lemma.

固定测度度量化（Fixed-Measure Metrization）： 通过专门的可辨识性引理确立了可辨识性。

实验表现 / Empirical Performance

Disentangling Shifts: Tested across a 10-measure battery over 202 dataset pairs (comprising synthetic data, Electricity, and Covertype benchmarks), only conditional-information estimators—CJSD and a corresponding $k$-NN plug-in—successfully separated concept shift from covariate shift with an AUC of 1.0.

解耦偏移： 在包含 10 种度量标准、覆盖 202 个数据集对（包含合成数据、Electricity 和 Covertype 基准）的测试组合中，只有条件信息估计器——CJSD 及其对应的 $k$-NN 插值估计器——成功地将概念漂移与协变量漂移分离，达到了 1.0 的 AUC。

Dimensionality Scaling: While baseline $k$-NN plug-in estimators fail under controlled dimensionality scaling starting at $d = 64$, the discriminator-based CJSD scales reliably up to $d = 256$ using swappable classifiers.

维度扩展性： 当维度从 $d = 64$ 开始进行受控扩展时，基线 $k$-NN 插值估计器失效，而基于判别器的 CJSD 通过可替换的分类器，能够可靠地扩展到 $d = 256$。

Advanced Utilities: From a single learned object, CJSD uniquely provides:
Paired confidence intervals and sequential extensions.
Conditional fidelity auditing for synthetic-data generators (which standard marginal and joint QA metrics miss).
Detection of annotation-guideline changes that remain invisible to input-space monitors.
Support for null-calibrated fairness audits.

高级应用价值： 从单个学习到的对象出发，CJSD 独特地提供了以下功能：

成对置信区间和序列扩展。

针对合成数据生成器的条件保真度审计（这是标准边际和联合 QA 指标所无法捕捉的）。

检测输入空间监视器无法察觉的标注准则变化。

支持零值校准的公平性审计。