跳转至

逻辑门网络的深度可扩展性研究

文章背景与核心概要

逻辑门网络（LGN）通过组合布尔运算来进行计算，但传统的架构由于优化崩塌和拓扑学信用衰退，往往无法从深度的增加中获得性能收益。本文深入探讨了这些局限性，并引入了一种名为输入锚定逻辑门网络（Input-Anchored Logic Gate Networks, IALGN）的新型拓扑结构。该结构通过将私有的隐藏主干与直接输入锚点相结合，有效防止了输出路径的合并。

作者在 MNIST、CIFAR-10 和 CIFAR-100 等标准视觉基准测试中证明，IALGN 成功将网络规模扩展到了高达 150 层，同时保持了良好的梯度质量和结构相干性。这项研究表明，可扩展的 LGN 深度不仅需要稳定的优化，还需要具备保护信用分配的信息访问机制，为超深层布尔网络的研究开辟了新途径。

Summary

Logic Gate Networks (LGNs) compute by composing Boolean operations, but traditional architectures fail to benefit from increased depth due to optimization collapse and topological credit degradation. This paper investigates these limitations and introduces Input-Anchored Logic Gate Networks (IALGNs), a novel topology that pairs a private hidden spine with direct input anchors to prevent output-path merging. The authors demonstrate that IALGN scales successfully up to 150 layers across standard vision benchmarks (MNIST, CIFAR-10, and CIFAR-100) while preserving gradient quality and structural coherence.

逻辑门网络（LGN）通过组合布尔运算来进行计算，但由于优化崩塌和拓扑信用衰退，传统架构无法从深度的增加中获益。本文深入研究了这些局限性，并引入了输入锚定逻辑门网络（Input-Anchored Logic Gate Networks, IALGN），这是一种将私有隐藏主干与直接输入锚点相结合的新型拓扑结构，可防止输出路径合并。作者证明，在保持梯度质量和结构相干性的同时，IALGN 在标准视觉基准（MNIST、CIFAR-10 和 CIFAR-100）上成功将规模扩展到了 150 层。

Metadata

  • arXiv ID: 2607.21633 [cs.LG]
  • Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Logic in Computer Science (cs.LO)
  • Authors: Taegun An, Dohun Kim, Haebeom Lee, Changhee Joo
  • Submission Dates: Submitted on 19 Jul 2026; last revised 28 Aug 2026 (v3)
  • DOI: 10.48550/arXiv.2607.21633

Abstract

Logic Gate Networks (LGNs) compute through compositions of Boolean operations, yet existing LGNs do not reliably benefit from increased depth. We identify two causes: optimization collapse and topology-induced degradation of output-specific credit that persists even after skip-biased initialization and straight-through estimation stabilize training.

逻辑门网络（LGN）通过布尔运算的组合进行计算，然而现有的 LGN 无法稳定地从深度的增加中受益。我们确定了两个原因：优化崩塌以及由拓扑引起的输出特定信用衰退，这种衰退即使在跳跃偏置初始化和直通估计（straight-through estimation）稳定了训练之后仍然存在。

We introduce Input-Anchored Logic Gate Networks (IALGNs), in which each gate combines a private hidden spine with a direct input anchor. This topology prevents output-path merging while retaining input access at every layer. Credit diagnostics show that random wiring dilutes or conflicts output-specific gradients, whereas IALGN maintains usable and coherent credit. Random-\(k_x\) relaxation improves anchor selection without relaxing the spine.

我们引入了输入锚定逻辑门网络（IALGN），其中每个门将一个私有的隐藏主干与一个直接输入锚点结合起来。这种拓扑结构在每一层都保留输入访问权限的同时，防止了输出路径的合并。信用诊断表明，随机布线会稀释或冲突输出特定的梯度，而 IALGN 则能维持可用且相干的信用。随机-\(k_x\) 松弛（Random-\(k_x\) relaxation）在不松弛主干的前提下改善了锚点的选择。

Across MNIST, CIFAR-10, and CIFAR-100, IALGN exhibits consistent fixed-width depth--accuracy scaling up to 150 layers, while alternative topologies saturate or degrade. Linear probes, topology ablations, and operation-aware analysis show that trained IALGNs preserve private states and apply sparse anchor-conditioned updates. These results indicate that scalable LGN depth requires both stable optimization and credit-preserving information access.

在 MNIST、CIFAR-10 和 CIFAR-100 上，IALGN 展现出了一致的固定宽度深度-精度扩展性，可扩展高达 150 层，而其他拓扑结构则会出现饱和或性能下降。线性探测、拓扑消融和感知操作的分析表明，训练后的 IALGN 能够保留私有状态并应用稀疏的锚点条件更新。这些结果表明，可扩展的 LGN 深度既需要稳定的优化，也需要具备信用保持能力的信息访问机制。

Full-Text and Resources