跳转至

TinyCast：基于计算周期的概率化零样本预测模型

文章背景与核心概要

TinyCast 是一项突破性的时间序列预测技术，旨在解决在资源极度受限的嵌入式设备上进行高效、高精度概率预测的难题。在当前大模型参数量不断膨胀的趋势下，该研究反其道而行之，构建了一个仅有 14,6505 个参数、完全不依赖注意力机制（attention-free）的超轻量级零样本预测模型。

该模型的核心技术创新在于用解析计算替代参数学习来捕获时间序列的周期结构。TinyCast 摒弃了传统的自注意力机制，转而采用一个零参数的谱检测器来识别显性周期，并基于其相位对上下文进行重构折叠，再配合膨胀卷积编码器与块自回归分位数解码器完成预测。得益于其独特的卷积和矩阵乘法混合路径设计，TinyCast 能够通过静态 INT8 量化完美适配嵌入式硬件，实现端到端的无缝端侧推理。

在学术与应用意义上，TinyCast 刷新了同量级模型在概率准确性上的边界。它在性能上击败了许多参数量远超其数十倍的基准模型（如 Chronos-ZS 和 fev-bench），证明了在极小规模下通过数学解析方法处理时间序列周期性的巨大潜力，为边缘计算和物联网（IoT）场景下的智能预测开辟了新途径。

摘要

TinyCast：基于计算周期的概率化零样本预测模型

TinyCast is a highly efficient, attention-free zero-shot time-series forecaster comprising just 146,505 parameters. Developed by Armin Steinhauser, the model relies on the premise that at this scale, the periodic structure of a context is best computed analytically rather than learned.

TinyCast 是一个高效且无注意力机制的零样本时间序列预测器，仅包含 146,505 个参数。该模型由 Armin Steinhauser 开发，其核心前提是：在此规模下，上下文的周期性结构通过解析计算来获取，远比通过学习获得更为合适。

Instead of traditional attention mechanisms, TinyCast uses a zero-parameter spectral detector to identify dominant periods, folds the context based on their phase, and utilizes a utilized a dilated convolutional encoder paired with a block-autoregressive quantile decoder. Despite its minuscule footprint, TinyCast achieves state-of-the-art probabilistic accuracy for its size tier, outperforming models with significantly larger parameter budgets (such as Chronos-ZS and fev-bench) while running entirely end-to-end on embedded hardware via static INT8 quantization.

代替传统的注意力机制，TinyCast 使用一个零参数的谱检测器来识别主导周期，根据其相位折叠上下文，并利用膨胀卷积编码器搭配块自回归分位数解码器对其余部分进行建模。尽管其体积极其微小，TinyCast 却在其尺寸级别内实现了最先进的概率准确度，性能超越了参数规模显著更大的模型（如 Chronos-ZS 和 fev-bench），同时能够通过静态 INT8 量化在嵌入式硬件上完全端到端运行。

论文元数据 (Paper Metadata)

摘要原文 (Abstract)

We introduce TinyCast, an attention-free zero-shot forecaster that emits a predictive distribution from 146,505 parameters, on the premise that at this size the periodic structure of a context is worth computing rather than learning. A zero-parameter spectral detector supplies the dominant periods, the context is folded on their phase, and a dilated convolutional encoder and a block-autoregressive quantile decoder model the rest. It is smaller than every zero-shot entry on the GIFT-Eval board whose parameter count can be established. On probabilistic accuracy it defines the size-accuracy frontier. Among zero-shot entries declaring no test-data leakage it is the only one below 1.4M parameters that emits a predictive distribution, and every entry scoring better carries at least that budget. On Chronos-ZS and fev-bench every neural model ahead of it carries at least 28 times its parameters. Because the mixing path is convolutions and matrix multiplications only, it exports to static INT8 and forecasts end to end on an embedded device without per-signal fitting.

我们推出了 TinyCast，这是一个无注意力机制的零样本预测器，它从 146,505 个参数中输出预测分布，其基础前提是：在此规模下，上下文的周期性结构与其通过学习不如通过计算来得划算。一个零参数的谱检测器提供主导周期，上下文根据其相位进行折叠，并通过膨胀卷积编码器和块自回归分位数解码器对剩余部分进行建模。在 GIFT-Eval 排行榜上，它的参数量比所有能够确定参数规模的零样本条目都要小。在概率准确性方面，它定义了“规模-准确性”的边界。在声明没有测试数据泄露的零样本条目中，它是唯一一个参数低于 140 万且能输出预测分布的模型，而所有得分更高的条目至少都拥有同等规模的参数预算。在 Chronos-ZS 和 fev-bench 上，所有排在它前面的神经模型都至少拥有其 28 倍以上的参数。由于其混合路径仅包含卷积和矩阵乘法，它可以导出为静态 INT8，并在嵌入式设备上进行端到端的预测，而无需针对每个信号进行单独拟合。