跳转至

基于层论的联邦表示学习

文章背景与核心概要

在去中心化联邦系统中，由于各智能体（Agents）之间存在数据分布、传感模态、模型架构、潜空间维度以及本地学习目标的差异，处理数据与模型的异构性一直是该领域的一大核心挑战。传统的联邦学习方法通常假设存在一个共享的全局潜空间，然而当系统异构性较强时，这种假设往往会失效。

为了解决这一问题，本文提出了一种名为基于层论的联邦表示学习（Sheaf-Based Federated Representation Learning, SFRL）的全新框架。该框架摒弃了强制要求单一全局空间的传统做法，转而利用可学习的层限制映射（sheaf restriction maps），通过正交变换和等距嵌入来对齐相邻的潜空间表示。该算法通过在少量共享引导样本（pilot samples）上计算高效通信的二次粘合正则化项（quadratic gluing regularizer）来实现，并由名为 Sheaf-FRL 的去中心化算法进行求解——该算法在本地模型更新与闭式普罗克鲁斯特更新（closed-form Procrustes updates）之间交替迭代，理论上证明了其向一阶平稳点的收敛性。

在合作分类与语义通信任务的评估中，SFRL 展现出了卓越的准确性以及对潜空间维度压缩的强鲁棒性，为解决异构联邦学习中的表征对齐问题提供了强有力的拓扑几何工具。

论文元数据 (Paper Metadata)

  • arXiv 标识符: arXiv:2608.10016 [cs.LG]
  • 主要学科: 机器学习 (cs.LG)
  • 其他学科: 人工智能 (cs.AI), 多智能体系统 (cs.MA), 信号处理 (eess.SP)
  • 提交日期: 2026年8月8日
  • DOI: 10.48550/arXiv.2608.10016

作者 (Authors)

  • Gabriele D'Acunto
  • Enrico Grimaldi
  • Valeria Avino
  • Mario Edoardo Pandolfo
  • Leonardo Di Nino
  • Sergio Barbarossa
  • Paolo Di Lorenzo

摘要 (Abstract)

异构联邦系统要求智能体在面对数据分布、传感模态、模型架构、潜空间维度以及本地学习目标的差异时，仍能学习并交换具有信息量的表示。为了应对这一挑战，我们提出了基于层论的联邦表示学习（SFRL），这是一个通用框架，它将本地目标函数的优化与基于可学习层限制映射的流形约束几何对齐正则化项结合起来进行联合优化。

Heterogeneous federated systems require agents to learn and exchange informative representations despite differences in data distributions, sensing modalities, model architectures, latent dimensionalities, and local learning objectives. To address this challenge, we propose Sheaf-based Federated Representation Learning (SFRL), a general framework that jointly optimizes local objectives with a manifold-constrained geometric alignment regularizer based on learnable sheaf restriction maps.

与大多数现有方法不同，SFRL 不假设存在共享的全局潜空间。相反，全局一致性是通过正交变换和等距嵌入对相邻潜空间表示进行对齐而自然涌现的。这种对齐由层拉普拉斯算子诱导的二次粘合正则化项来强制执行，其可学习的限制映射能够使几何结构适应观察到的数据。该惩罚项在一小批共享的引导样本上进行评估，从而确保了可扩展性和通信效率。

Unlike most existing approaches, SFRL does not assume a shared global latent space. Instead, global consistency emerges from the alignment of neighboring latent representations through orthogonal transformations and isometric embeddings. This alignment is enforced by a quadratic gluing regularizer induced by the sheaf Laplacian, whose learnable restriction maps adapt the geometry to the observed data. The penalty is evaluated on a small set of shared pilot samples, ensuring scalability and communication efficiency.

我们开发了一种用于求解 SFRL 的去中心化算法，称为 Sheaf-FRL。该算法在本地模型的梯度更新与边级限制映射的闭式普罗克鲁斯特更新之间交替进行。我们进一步证明了 Sheaf-FRL 在确定性和随机设置下向一阶平稳点的收敛性。作为一个应用场景，我们在模型和数据异构性的背景下，考虑了语义通信中的合作分类任务。我们的结果表明，在不同的本地分布偏移水平下，Sheaf-FRL 在本地和通信后分类准确率方面均优于基线方法，并对潜空间维度压缩表现出更强的鲁棒性。

We develop a decentralized algorithm for solving SFRL, termed Sheaf-FRL, which alternates between gradient updates of the local models and closed-form Procrustes updates of the edge-wise restriction maps. We further establish convergence of Sheaf-FRL to first-order stationary points in both deterministic and stochastic settings. As an application, we consider a cooperative classification task in the context of semantic communication, under model and data heterogeneity. Our results show that Sheaf-FRL outperforms baseline approaches in terms of local and post-communication classification accuracy across different levels of local distribution shift and exhibits greater robustness to latent-space dimensionality compression.

获取与资源 (Access & Resources)