跳转至

文章背景与核心概要

偏微分方程（PDE）基础模型在科学计算和工程领域展现出了巨大的潜力，能够跨越不同的物理系统进行泛化。然而，现有的微调方法高度依赖于昂贵且高密度的真实标注数据（ground-truth data），这在许多实际应用中很难获取。为了解决这一痛点，本文提出了一种全新的无监督自适应框架，完全摆脱了对真实解数据的依赖，转而利用偏微分方程残差和边界条件来进行物理驱动的优化。

在技术实现上，该研究引入了邻域注意力 Transformer（Neighborhood Attention Transformer）来捕捉多空间尺度和多维度下的复杂物理规律。同时，针对标准低秩自适应（LoRA）在处理不同物理量时学习不均的问题，作者创新性地提出了牛顿-舒尔茨正交化 LoRA（NSLoRA）技术。实验结果表明，该无监督方法在性能上能够媲美甚至超越传统的监督学习方法，并显著优于现有的神经算子基线。

偏微分方程基础模型的无监督自适应

作者： Ziye Song, Zhao Wei, Xin Yu, Ivor Tsang, Yueming Lyu
日期： 2026年8月7日
主题： 人工智能 (cs.AI)
DOI： 10.48550/arXiv.2608.07053

摘要

本文引入了一个用于偏微分方程（PDE）基础模型无监督自适应的全新框架。虽然现有的基础模型能够跨不同方程进行泛化，但它们通常需要昂贵且高密度的真实标注数据来进行微调。作者提出了一种基于物理的方法，通过利用 PDE 残差和边界条件，消除了对该类数据的需求。通过采用邻域注意力 Transformer 以及一种名为 NSLoRA（牛顿-舒尔茨正交化 LoRA） 的专用自适应技术，该模型实现了与监督方法相当的性能，同时显著优于现有的神经算子基线。

This paper introduces a novel framework for the unsupervised adaptation of Partial Differential Equation (PDE) foundation models. While existing foundation models can generalize across different equations, they typically require expensive, high-density ground-truth data for fine-tuning. The authors propose a physics-based approach that eliminates the need for such data by utilizing PDE residuals and boundary conditions. By employing a neighborhood attention Transformer and a specialized adaptation technique called NSLoRA (Newton-Schulz orthogonalized LoRA), the model achieves performance comparable to supervised methods while significantly outperforming existing neural operator baselines.

核心贡献

1. 无监督微调框架

作者提出了一个框架，消除了将模型适应到未见过的 PDE 系统时对真实解的依赖。相反，模型通过以下方式进行微调： * PDE 残差： 利用方程背后的物理原理。 * 边界条件： 将物理约束直接纳入学习目标中。

1. Unsupervised Fine-Tuning Framework

The authors present a framework that removes the dependency on ground-truth solutions for adapting models to unseen PDE systems. Instead, the model is fine-tuned using: * PDE Residuals: Leveraging the underlying physics of the equation. * Boundary Conditions: Incorporating physical constraints directly into the learning objective.

2. 模型架构：邻域注意力 Transformer

研究人员在一组多样化的含时 PDE 上预训练了一个邻域注意力 Transformer。该架构允许模型学习可迁移的表示，这些表示在跨越多个空间尺度和维度的异构方程中依然有效。

2. Model Architecture: Neighborhood Attention Transformer

The researchers pretrain a neighborhood attention Transformer on a diverse set of time-dependent PDEs. This architecture allows the model to learn transferable representations that are effective across heterogeneous equations spanning multiple spatial scales and dimensions.

3. NSLoRA（牛顿-舒尔茨正交化 LoRA）

为了解决标准低秩自适应（LoRA）的局限性——特别是跨各种物理量的学习不均衡问题——作者引入了 NSLoRA。该变体利用牛顿-舒尔茨正交化来重新平衡自适应过程，确保更稳定、更有效的学习。

3. NSLoRA (Newton-Schulz Orthogonalized LoRA)

To address the limitations of standard Low-Rank Adaptation (LoRA)—specifically the issue of uneven learning across various physical quantities—the authors introduce NSLoRA. This variant utilizes Newton-Schulz orthogonalization to rebalance the adaptation process, ensuring more stable and effective learning.

访问与资源

Access & Resources

license icon

引用信息

Citation Information