跳转至

文章背景与核心概要

小型语言模型（参数量在 1000 万到 1 亿之间）非常适合端侧推理、快速实验以及受控的科学研究。然而，现大多数现有模型只是简单地复用标准的 Transformer 模块，而没有针对这种资源受限的场景进行定制化设计。

本文介绍了 Wiola，这是一个仅包含解码器的语言模型，每层包含三个专为小规模效率而设计的全新即插即用架构组件：1. 螺旋旋转位置编码（SpiralRoPE），通过缓慢增长的逐维度因子扰动标准旋转频率，在不增加任何参数的情况下改善长距离 Token 区分度；2. 门控螺旋注意力（Gated Spiral Attention），实现了一种基于查询流因果累积统计量的逐头内容自适应标量门控，以微不足道的计算成本提供了隐式的、可微的软注意力头选择，同时保证了训练与推理之间零近似误差；3. 蝴蝶前馈模块（Butterfly Feed-Forward Block），用乘法交互和块内旁路路径替代了传统扩展层，在匹配 \(4\times\) 门控线性单元（GLU）参数量的同时，显著改善了浅层网络堆栈中的梯度流动。

作者对每个组件进行了形式化定义，推导了精确的参数和计算量预算，并使用标准的微型故事语料库提供了完全可复现的训练与评估协议。参考实现已开源，并附带预训练权重。

Wiola 13M: A Gated Spiral Attention Architecture for Parameter-Efficient Small Language Models

Authors: Aryuemaan Kumar Chowdhury, Praveen Oosa, Vineesha Reddy
arXiv: 2608.14604 [cs.CL]
Submitted: July 3, 2026
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)

Summary

Small language models (10 million to 100 million parameters) are ideal for on-device inference, rapid experimentation, and controlled scientific research. However, most existing models simply reuse standard transformer blocks without tailoring them to this resource-constrained regime.

This paper introduces Wiola, a decoder-only language model featuring three novel, drop-in architectural components per layer designed specifically for small-scale efficiency: 1. Spiral Rotary Positional Encoding (SpiralRoPE): Perturbs standard rotary frequencies using a slowly growing per-dimension factor, causing phase trajectories to fan outward. This improves long-range token discrimination while adding zero parameters. 2. Gated Spiral Attention: Implements a per-head, content-adaptive scalar gate derived from a causal cumulative statistic of the query stream. This provides an implicit, differentiable form of soft head selection at a negligible computational cost. Furthermore, the authors prove an exact, numerically verified equivalence between full-sequence training and cached autoregressive decoding, ensuring zero approximation error at inference time. 3. Butterfly Feed-Forward Block: Replaces conventional expansion layers with a multiplicative interaction and an intra-block bypass path. It matches the parameter count of a \(4\times\) gated linear unit (GLU) block while significantly improving gradient flow in shallow network stacks.

The authors formalize each component, derive precise parameter and computation budgets, and provide a fully reproducible training and evaluation protocol using a standard tiny-story corpus. The reference implementation is available open-source with pre-trained weights.

小型语言模型（1000 万至 1 亿参数）非常适合端侧推理、快速实验和受控科学研究。然而，大多数现有模型只是简单地复用标准 Transformer 模块，而没有针对这种资源受限的方案进行量身定制。

本文引入了 Wiola，这是一种仅包含解码器的语言模型，每层具有三个专为小规模效率设计的新颖、即插即用的架构组件： 1. 螺旋旋转位置编码（SpiralRoPE）：使用缓慢增长的逐维度因子扰动标准旋转频率，使相位轨迹向外扇形展开。这在零参数增加的前提下改善了长距离 Token 的区分度。 2. 门控螺旋注意力：实现了基于查询流因果累积统计量的逐头、内容自适应标量门控。这以微不足道的计算成本提供了隐式的、可微的软注意力头选择形式。此外，作者证明了全序列训练与缓存自回归解码之间存在精确的、经数值验证的等效性，确保了推理时的零近似误差。 3. 蝴蝶前馈模块：用乘法交互和块内旁路路径取代了传统的扩展层。它匹配了 \(4\times\) 门控线性单元（GLU）块的参数量，同时显著改善了浅层网络堆栈中的梯度流动。

作者对每个组件进行了形式化，推导了精确的参数和计算预算，并使用标准的微型故事语料库提供了完全可复现的训练和评估协议。参考实现已开源，并提供预训练权重。

Key Architecture Innovations

  • Spiral Rotary Positional Encoding: Enhances long-range context handling without increasing parameter overhead.
  • Gated Spiral Attention: Introduces efficient soft head selection with lossless transition from training to autoregressive inference.
  • Butterfly Feed-Forward Network: Optimizes gradient propagation in shallow networks while maintaining strict parameter budgets.

核心架构创新

  • 螺旋旋转位置编码：增强长距离上下文处理，且不增加参数开销。
  • 门控螺旋注意力：引入高效的软注意力头选择，实现从训练到自回归推理的无损转换。
  • 蝴蝶前馈网络：优化浅层网络中的梯度传播，同时保持严格的参数预算。

链接与资源