跳转至

文章背景与核心概要

本文介绍了 ER-KANs（Efficient and Robust Kolmogorov-Arnold Networks，高效且鲁棒的柯尔莫哥洛夫-阿诺德网络），这是一种专为数据稀缺和带噪科学机器学习（SciML）任务设计的新型神经网络架构。尽管现有的大多数高效 KAN 变体在干净的基准测试中表现良好，但在噪声环境下性能会发生灾难性退化。ER-KAN 通过结合共享高斯 RBF 基、课程噪声注入以及熵加权自适应正则化这三项核心设计，显著提升了模型在噪声和数据稀缺场景下的鲁棒性。

该模型在多项解析函数基准、阻尼谐振子物理信息神经网络（PINN）以及伯格斯方程（Burgers' equation）中进行了严格评估。结果表明，ER-KAN 相比于标准多层感知机（MLP）和传统的高效 KAN 变体具有更低的测试均方误差（MSE）以及卓越的可靠性。同时，作者还引入了“噪声退化率”（noise degradation ratio）作为评估高效 KAN 研究的标准化指标。

ER-KANs：Efficient and Robust Kolmogorov-Arnold Networks for Data-Scarce Scientific Machine Learning

license icon

📋 Executive Summary

The paper introduces ER-KANs (Efficient and Robust Kolmogorov-Arnold Networks), a novel neural network architecture designed specifically for data-scarce and noisy scientific machine learning (SciML) tasks.

本文介绍了 ER-KANs（Efficient and Robust Kolmogorov-Arnold Networks），这是一种专为数据稀缺且带噪的科学机器学习（SciML）任务设计的新型神经网络架构。

While existing efficient Kolmogorov-Arnold Network (KAN) variants (such as Chebyshev, wavelet, and radial-basis-function models) perform well on clean benchmarks, they suffer massive performance degradation under noisy conditions. For instance, ChebyKAN's test mean squared error (MSE) spikes by 10.6× under a \(\sigma = 0.1\) noise level, compared to 1.4× for ER-KAN.

尽管现有的高效柯尔莫哥洛夫-阿诺德网络（KAN）变体（如切比雪夫、小波和径向基函数模型）在干净的基准测试中表现良好，但它们在噪声条件下会遭受巨大的性能退化。例如，在 \(\sigma = 0.1\) 的噪声水平下，ChebyKAN 的测试均方误差（MSE）飙升了 10.6倍，而 ER-KAN 仅增大了 1.4倍。

ER-KAN achieves this resilience by combining three core design elements: 1. Shared Gaussian RBF bases across layer edges for locality and efficient parameterization. 2. Curriculum noise injection during training to explicitly train robustness. 3. Entropy-weighted adaptive regularization to prevent overfitting in data-scarce regimes (\(N\)).

ER-KAN 通过结合三个核心设计元素实现了这种极强的韧性： 1. 跨层边缘的共享高斯 RBF 基，用于实现局部性并进行高效的参数化。 2. 训练期间的课程噪声注入，以显式训练鲁棒性。 3. 熵加权自适应正则化，用于在数据稀缺区间（\(N\)）中防止过拟合。

Evaluation across eight analytic functions, a damped harmonic oscillator physics-informed neural network (PINN)—where ER-KAN achieves a 4.2× lower solution MSE than standard Multi-Layer Perceptrons (MLPs)—and Burgers' equation demonstrates the model's superior reliability. The author also introduces the noise degradation ratio as a standardized metric for efficient-KAN research.

通过对八个解析函数、一个阻尼谐振子物理信息神经网络（PINN，其中 ER-KAN 的求解 MSE 比标准多层感知机低 4.2倍）以及伯格斯方程的评估，证明了该模型卓越的可靠性。作者还引入了噪声退化率作为高效 KAN 研究的标准化指标。

📌 Document Overview & Metadata

  • arXiv 标识符: arXiv:2608.14773 [cs.LG] (v2)
  • 标题: ER-KANs: Efficient and Robust Kolmogorov-Arnold Networks for Data-Scarce Scientific Machine Learning
  • 作者: Harshil Lodhiya
  • 主要学科: 机器学习 (cs.LG)、人工智能 (cs.AI)
  • MSC 分类: 68T05, 41A30, 65D15
  • ACM 分类: I.2.6; G.1.2; I.5.1
  • 提交时间: 2026年8月14日；最后修订: 2026年8月25日
  • 资源与代码: GitHub 仓库
  • 许可证: 知识共享 署名-非商业性使用-禁止演绎 4.0 国际版 (查看许可证: license icon)

🔬 Abstract & Key Findings

Recent efficient-KAN literature has heavily prioritized clean-data benchmarking, masking severe architectural vulnerabilities to noise. When evaluated against clean ground truth under corrupted training data (\(\sigma = 0.1\)): * ChebyKAN: Test MSE increases by 10.6× * Vanilla KAN: Test MSE increases by 7.9× * Standard MLP: Test MSE increases by 1.7× * ER-KAN (Proposed): Test MSE increases by just 1.4×

近期关于高效 KAN 的文献过度关注干净数据的基准测试，掩盖了其对噪声的严重架构脆弱性。在受到污染的训练数据（\(\sigma = 0.1\)）下与干净的真实值进行对比评估时： * ChebyKAN: 测试 MSE 增加了 10.6倍 * Vanilla KAN: 测试 MSE 增加了 7.9倍 * 标准 MLP: 测试 MSE 增加了 1.7倍 * ER-KAN（本研究提出）: 测试 MSE 仅增加 1.4倍

Architectural Innovations of ER-KAN

  • Shared Gaussian RBF Bases: Implemented across all edges within a layer, optimizing locality and keeping parameter counts exceptionally low (e.g., matching MLP accuracy using a compact 595-parameter footprint).
  • Curriculum Noise Injection: Trains the network progressively against structured noise to build resilience.
  • Entropy-Weighted Adaptive Regularization: Intelligently restrains model complexity to protect against severe overfitting when sample size \(N\) is small.

ER-KAN 的架构创新

  • 共享高斯 RBF 基: 在层内的所有边缘上实现，优化了局部性并使参数数量保持在极低水平（例如，使用仅 595 个参数的紧凑占用空间即可匹配 MLP 的准确率）。
  • 课程噪声注入: 针对结构化噪声逐步训练网络，以建立鲁棒性。
  • 熵加权自适应正则化: 当样本量 \(N\) 较小时，智能抑制模型复杂度，防止严重过拟合。

📊 Experimental Evaluation

ER-KAN was rigorously tested across multiple complex scientific scenarios: 1. Analytic Functions: Evaluated across eight different functions with varying sample sizes (\(N \in \{50, 200, 500\}\)) and noise levels (\(\sigma \in \{0, 0.03, 0.1\}\)). 2. Damped Harmonic Oscillator (PINN): ER-KAN achieved a 4.2× lower solution MSE compared to a standard MLP. 3. Burgers' Equation (PINN): Transparently reported as a failure case where all evaluated models struggled to converge, highlighting actual architectural limitations rather than hiding them.

ER-KAN 在多个复杂的科学场景中进行了严格测试： 1. 解析函数: 在具有不同样本大小（\(N \in \{50, 200, 500\}\)）和噪声水平（\(\sigma \in \{0, 0.03, 0.1\}\)）的八种不同函数上进行评估。 2. 阻尼谐振子（PINN）: 相比于标准 MLP，ER-KAN 实现了低 4.2倍 的求解 MSE。 3. 伯格斯方程（PINN）: 透明地报告为一个失败案例，所有评估的模型在该案例中均难以收敛，凸显了真实的架构局限性而非刻意隐瞒。