跳转至

不可训练元件决定了物理学习的记忆内容

文章背景与核心概要

本文研究了用于训练电阻网络的“物理学习”规则（如平衡传播 EP、耦合学习 CL 和伴随耦合 learning AL）中固有的归纳偏置。作者识别出两个影响所学函数的重要属性：电路在电导重新标度下的不变性，以及规则对质量的守恒性（\(K = \frac{1}{2} \sum_e \kappa_e^2\)）。

研究表明，当电路中的所有元件均可训练时，初始化规模是惰性的。然而，哪怕只存在一个“不可训练”的元件也会打破这种齐次性，从而导致所学函数依赖于初始化规模。该研究总结认为，物理学习包含两个独立的归纳偏置：一个源自电路（代表了设备构建方式的记忆），另一个源自规则（决定了解决方案的质量）。

不可训练元件决定了物理学习的记忆内容

作者： Bijaya Dangol
Date: August 19, 2026 (v2)
Subject: 软凝聚态物理 (cond-mat.soft); 无序系统与神经网络 (cond-mat.dis-nn); 人工智能 (cs.AI); 机器学习 (cs.LG)
Identifier: arXiv:2608.00097

摘要 (Summary)

This paper investigates the inductive biases inherent in "physical learning" rules—such as equilibrium propagation (EP), coupled learning (CL), and adjoint coupled learning (AL)—used to train resistive networks. The author identifies two distinct properties that influence the learned function: the circuit's invariance under conductance rescaling and the rule's conservation of mass (\(K = \frac{1}{2} \sum_e \kappa_e^2\)).

本文研究了用于训练电阻网络的“物理学习”规则（如平衡传播（EP）、耦合学习（CL）和伴随耦合学习（AL））中固有的归纳偏置。作者识别出了两个影响所学习函数的光谱属性：电路在电导重新标度下的不变性，以及规则对质量的守恒性（\(K = \frac{1}{2} \sum_e \kappa_e^2\)）。

The research demonstrates that when all elements in a circuit are trainable, initialization scale is inert. However, the presence of even a single "untrainable" element breaks this homogeneity, causing the learned function to depend on the initialization scale. The study concludes that physical learning carries two independent inductive biases: one stemming from the circuit (which represents a memory of how the device was built) and one from the rule (which governs solution quality).

研究表明，当电路中的所有元件都可训练时，初始化规模是无效的。然而，哪怕存在单个“不可训练”的元件也会打破这种齐次性，导致所学习的函数依赖于初始化规模。该研究得出结论：物理学习具有两个独立的归纳偏置：一个源自电路（代表了设备是如何构建的记忆），另一个源自规则（控制解的质量）。

核心发现 (Key Findings)

1. 不可训练元件的角色 (The Role of Untrainable Elements)

  • Homogeneity Breaking: When every element is trainable, the learning rules are homogeneous in conductances, rendering the initialization scale irrelevant.
  • Impact of Fixed Elements: Introducing fixed elements (even a single rectifier) breaks this homogeneity. Across twenty tested topologies, the learned function shifted by a median of 12% with fixed rectifiers and 8% with fixed linear resistors, compared to near-zero drift (\(3 \times 10^{-8}\)) in fully trainable circuits.
  • 齐次性破坏： 当每个元件都可训练时，学习规则在电导上是齐次的，从而使初始化规模变得无关紧要。
  • 固定元件的影响： 引入固定元件（哪怕只是一个整流器）也会打破这种齐次性。在测试的二十种拓扑结构中，当存在固定整流器时，所学函数的中位偏移量为 12%，存在固定线性电阻时为 8%，而在完全可训练的电路中，漂移几乎为零（\(3 \times 10^{-8}\)）。

2. 守恒定律与记忆 (Conservation Laws vs. Memory)

  • Independence of Conservation: The study refutes the idea that the rule's conservation law protects the learned function from initialization memory.
  • Evidence: Adjoint Coupled Learning (AL), which dissipates mass, exhibits initialization memory as strongly as rules that conserve it. Furthermore, memory persists even in runs where the mass \(K\) is conserved to a high degree of precision (\(10^{-4}\)).
  • 守恒的独立性： 该研究反驳了“规则的守恒定律可以保护所学函数免受初始化记忆影响”的观点。
  • 证据： 耗散质量的伴随耦合学习（AL）表现出的初始化记忆与保持质量的规则一样强烈。此外，即使在质量 \(K\) 以极高精度（\(10^{-4}\)）保持守恒的运行中，记忆依然存在。

3. 解的质量 (Solution Quality)

  • The rule's conservation structure primarily influences solution quality rather than memory.
  • At matched training loss, AL performed worse than EP and CL in most small circuits (by a median of 3–7%), though this performance gap is not stable across different scales or checkpoints.
  • 规则的守恒结构主要影响解的质量，而不是记忆。
  • 在匹配的训练损失下，在大多数小型电路中，AL 的表现逊于 EP 和 CL（中位差距为 3–7%），不过这种性能差距在不同的规模或检查点之间并不稳定。

结论 (Conclusion)

The author posits that physical learning is governed by two independent inductive biases. The "memory" of the device's construction is a property of the circuit's topology and the presence of fixed elements, while the learning rule itself dictates the optimization dynamics and solution quality.

作者假定，物理学习受两个独立的归纳偏置支配。设备结构的“记忆”是电路拓扑和固定元件存在的属性，而学习规则本身则决定了优化动力学和解的质量。

访问与元数据 (Access & Metadata)