跳转至

ReLU 网络中隐藏规范对特征专业化的控制

文章背景与核心概要

在过参数化的 ReLU 网络训练过程中，多个初始功能完全相同的神经元会经历竞争，最终通常只有一个神经元会习得“教师特征”，而其他神经元则变得冗余，这一现象被称为“特征所有权”（feature ownership）。

本文探讨了是否可以通过在初始预测函数中完全不可见的参数选择来控制这种特征所有权。作者利用一个易于处理的高斯教师-学生模型证明，仅改变正齐次缩放规范（scaling gauge）而不改变初始函数，就会导致截然不同的特征演化轨迹，并在专业化时间上产生 \(\Theta(D^2)\) 的显著差异。研究揭示了隐藏规范如何决定特征学习的“时间”与“归属”，并通过反应-传输分解理论解释了其背后的动力学机制。

📌 摘要

在过参数化的 ReLU 网络训练中，多个相同的内部神经元最初具有完全相同的功能角色。然而随着时间推移，通常只有一个神经元会获得“教师特征”，而其他神经元则变得冗余——这一现象被称为特征所有权。

When overparameterized ReLU networks are trained, multiple identical internal neurons start with the exact same functional role. Over time, however, one neuron typically acquires a "teacher feature" while the others become redundant—a phenomenon known as feature ownership.

本文研究了是否可以通过在初始预测函数中完全不可见的参数选择来控制特征所有权。通过使用一个易于处理的高斯教师-学生模型，作者证明了：

This paper investigates whether feature ownership can be controlled by parameter choices that are completely invisible in the initial predictor function. Using a tractable Gaussian teacher-student model, the author demonstrates that:

  • 隐藏规范的影响： 仅改变正齐次缩放规范（同时保持初始函数不变）会导致不同的特征轨迹，并在专业化时间上产生 \(\Theta(D^2)\) 的显著差异。
  • Hidden Gauges Matter: Varying only a positive-homogeneous scaling gauge (while keeping the initial function identical) leads to distinct feature trajectories and a sharp \(\Theta(D^2)\) separation in specialization time.
  • 确定性选择： 为特定神经元分配有利的规范，可以确定性地迫使其成为“所有者”，同时将重复神经元的功能贡献降至零。
  • Deterministic Selection: Assigning a favorable gauge to a specific neuron deterministically forces it to become the "owner" while driving the functional contributions of duplicate neurons to zero.
  • 理论机制： 精确的反应-传输分解揭示了这种效应源于改变特征系数与改变特征方向时不同的迁移率。
  • Theoretical Mechanisms: An exact reaction–transport decomposition reveals that the effect stems from differing mobilities in changing a feature's coefficient versus its direction.
  • 更广泛的意义： 仅凭初始预测函数既不能决定特征学习的“时间”，也不能决定“哪个”神经元习得该特征。这些发现已在总体和有限样本训练动力学中得到验证。
  • Broader Implications: The initial predictor alone dictates neither when a feature is learned nor which neuron learns it. The findings are validated across population and finite-sample training dynamics.

🔗 链接与资源