跳转至

非线性算子及其导数的通用近似定理

文章背景与核心概要

本文建立了针对 \(k\) 次可微非线性算子及其导数的首个算子学习（OL）架构通用近似定理（UATs）。这些研究成果在紧集上以及针对一般有限输入测度的加权巴斯蒂亚尼-索波列夫（Bastiani–Sobolev）空间中均匀证明，将霍尼克（Hornik, 1991）等学者的经典 UATs 推广到了无限维巴拿赫空间。

这些成果开启了导数感知算子学习（DIOL）的新方向，并在高阶精度算子学习、巴拿赫空间中的快速约束优化（通过“先学习后优化”范式），以及无限维偏微分方程的数值方法（通过“先优化后学习”范式）中催生了全新的应用。算子使用标准的编码器-解码器架构进行参数化——包括 DeepONets、Deep-H-ONets 和 PCA-Nets——并利用了巴拿赫空间近似性质、连续巴斯蒂亚尼可微性、\(C^k_B\) 紧开拓扑以及加权巴斯蒂亚尼-索波列夫空间。

论文元数据 (Paper Metadata)

  • arXiv ID: arXiv:2605.15285 [cs.LG]
  • Title: Universal Approximation of Nonlinear Operators and Their Derivatives
  • Author: Filippo de Feo
  • Submitted: 14 May 2026 (v1); Last revised: 1 September 2026 (v3)
  • Primary Subject: Machine Learning (cs.LG)
  • Secondary Subjects: Artificial Intelligence (cs.AI), Functional Analysis (math.FA), Numerical Analysis (math.NA), Optimization and Control (math.OC)
  • DOI: 10.48550/arXiv.2605.15285

摘要剖析与核心概念 (Abstract Breakdown & Core Concepts)

1. 核心问题

证明非线性算子及其导数的通用近似定理（UATs）一直是算子学习（OL）领域一个基础性的未解挑战，该挑战与非线性泛函分析高度交叉。本文引入了首个针对无限维巴拿赫空间的完整通用推广。

Proving UATs for nonlinear operators and their derivatives has remained a foundational open challenge in Operator Learning (OL), intersecting heavily with Nonlinear Functional Analysis. This paper introduces the first complete generalisations to infinite-dimensional Banach spaces.

2. 导数感知算子学习 (DIOL)

  • 引入了 DIOL，这是一个用于在一般巴拿赫空间上学习非线性算子及其导数的框架。
  • 专门为 DIOL 量身定制并制定了巴斯蒂亚尼-索波列夫（Bastiani–Sobolev）训练协议。
  • Introduces DIOL, a framework for learning both nonlinear operators and their derivatives on general Banach spaces.
  • Formulates Bastiani–Sobolev training protocols specifically tailored for DIOL.

3. 应用前沿

  • 高阶精度： 在算子学习任务中实现卓越的精度。
  • 先学习后优化 (Learn-Then-Optimize)： 在巴拿赫空间中实现快速约束优化，例如偏微分方程的最优控制和反问题。
  • 先优化后学习 (Optimize-Then-Learn)： 为无限维偏微分方程提供数值方法（例如，来自无限维最优控制的巴拿赫空间上的汉密尔顿-雅可比-贝尔曼偏微分方程、随机偏微分方程、路径依赖系统、部分观测系统以及平均场控制）。
  • High-Order Accuracy: Achieving superior precision in operator learning tasks.
  • Learn-Then-Optimize: Enabling fast constrained optimization in Banach spaces, such as optimal control of PDEs and inverse problems.
  • Optimize-Then-Learn: Providing numerical methods for infinite-dimensional PDEs (e.g., Hamilton-Jacobi-Bellman PDEs on Banach spaces from infinite-dimensional optimal control, SPDEs, path-dependent systems, partially observed systems, and mean-field control).

4. 架构参数化

该工作通过经典的编码器-解码器算子学习架构对非线性算子进行参数化，明确涵盖了： * DeepONets * Deep-H-ONets * PCA-Nets

The work parameterizes nonlinear operators through classical Encoder–Decoder Operator Learning architectures, explicitly covering: * DeepONets * Deep-H-ONets * PCA-Nets

5. 理论基础

所建立的 UATs 依赖于四个主要支柱： 1. 巴拿赫空间的近似性质。 2. 连续巴斯蒂亚尼可微性（它比连续弗雷歇可微性更弱）。 3. \(C^k_B\)（巴斯蒂亚尼）紧开拓扑（注意到由算子范数感应的 \(C^k\) 弗雷歇紧开拓扑中的通用近似会失效）。 4. 加权巴斯蒂亚尼-索波列夫空间的构建，将巴拿赫空间上的经典高斯索波列夫空间进行了推广。

The established UATs rely on four primary pillars: 1. Approximation Properties of Banach spaces. 2. Continuous Bastiani Differentiability (which is weaker than continuous Fréchet differentiability). 3. \(C^k_B\) (Bastiani) Compact-Open Topologies (noting that universal approximation in \(C^k\) Fréchet compact-open topologies induced by operator norms fails). 4. Construction of Weighted Bastiani–Sobolev Spaces, generalizing classical Gaussian Sobolev spaces on Banach spaces.