跳转至

文章背景与核心概要

本文介绍了 OTIS，这是一个开源的时间序列编码器，旨在为可穿戴设备和工业传感器等资源受限的环境生成高质量的时间序列特征。传统上，通用编码器严重依赖扩展定律（Scaling Laws），通过庞大的模型规模来处理多域训练数据，这使得在内存、能量和延迟受到严格限制的边缘设备上部署变得极其困难。

通过针对时间序列数据的特性对掩码建模预训练进行战略性调整，OTIS 仅使用一个 710万参数的微型编码器，就在 162 个任务上实现了最先进（SOTA）的性能。与体积大其 \(54\times\) 的编码器相比，OTIS 所需的内存减少了 \(10\times\)，能耗降低了 \(43\times\)，延迟缩短了 \(37\times\)。该研究通过引入域感知分词器、双重掩码策略和结构感知目标函数，为资源受限场景下的时间序列分析民主化提供了强有力的技术支撑。

OTIS: Learning High-Quality Time Series Features With Tiny Encoders

Summary

The paper introduces OTIS, an open time series encoder designed to generate high-quality time series features for resource-constrained environments such as wearables and industrial sensors. Historically, general-purpose encoders have relied on scaling laws—utilizing massive model sizes to handle multi-domain training data—which makes deployment on devices with strict memory, energy, and latency constraints impractical.

By strategically adapting masked modeling pre-training specifically for time series data, OTIS achieves state-of-the-art performance across 162 tasks using a tiny 7.1M-parameter encoder. Compared to encoders \(54\times\) its size, OTIS requires \(10\times\) less memory, \(43\times\) less energy, and achieves \(37\times\) lower latency.

Key Innovations:

  1. Domain-aware tokenizer: Resolves conflicting semantics within multi-domain training data.
  2. Dual masking strategy: Simultaneously captures spatiotemporal structures and temporal causality.
  3. Structure-aware objective: Decouples meaningful feature learning from modeling noise.

As a result, OTIS excels at discriminative tasks while extending seamlessly to generative tasks with minimal overhead. The authors have released their source code and pre-trained weights to democratize access to high-performance time series analysis.

本文引入了 OTIS，这是一个开源的时间序列编码器，旨在为可穿戴设备和工业传感器等资源受限的环境生成高质量的时间序列特征。过去，通用编码器一直依赖扩展定律——利用庞大的模型规模来处理多域训练数据，这使得在对内存、能量和延迟有严格限制的设备上部署变得不切实际。

通过专门针对时间序列数据对掩码建模预训练进行战略性调整，OTIS 使用一个微型的 710万参数编码器，在 162 个任务上实现了最先进的性能。与体积大 \(54\times\) 的编码器相比，OTIS 所需的内存减少了 \(10\times\)，能耗降低了 \(43\times\)，延迟降低了 \(37\times\)。

核心创新：

  1. 域感知分词器（Domain-aware tokenizer）： 解决了多域训练数据中冲突的语义。
  2. 双重掩码策略（Dual masking strategy）： 同时捕获时空结构和时间因果关系。
  3. 结构感知目标（Structure-aware objective）： 将有意义的特征学习与建模噪声解耦。

因此，OTIS 在判别任务中表现出色，同时以极小的额外开销无缝扩展到生成任务。作者已发布了其源代码和预训练权重，以普及高性能时间序列分析的使用。

Paper Metadata

  • arXiv Identifier: arXiv:2410.07299 [cs.LG]
  • Primary Subject: Machine Learning (cs.LG)
  • Other Subjects: Artificial Intelligence (cs.AI), Computer Vision and Pattern Recognition (cs.CV)
  • Authors: Özgün Turgut, Philip Müller, Martin J. Menten, Daniel Rueckert
  • Submission History:
  • [v1] Wed, 9 Oct 2024
  • [v2] Fri, 31 Jan 2025
  • [v3] Fri, 14 Aug 2026 (Latest revision)

论文元数据： * arXiv 标识符： arXiv:2410.07299 [cs.LG] * 主要学科： 机器学习 (cs.LG) * 其他学科： 人工智能 (cs.AI)、计算机视觉与模式识别 (cs.CV) * 作者： Özgün Turgut, Philip Müller, Martin J. Menten, Daniel Rueckert * 提交历史： * [v1] 2024年10月9日（周三） * [v2] 2025年1月31日（周五） * [v3] 2026年8月14日（周五，最新修订版）

Abstract

We introduce OTIS, an open time series encoder that yields high-quality time series features for downstream deployment on any system, including resource-constrained wearables and industrial sensors. Currently, the development of powerful general-purpose encoders relies on the scaling laws hypothesis, using large encoder sizes to memorise the heterogeneous distributions of multi-domain training data. However, this reliance on scale creates a barrier to real-world utility, rendering deployment on resource-constrained systems infeasible due to strict memory, energy, and latency constraints. Surprisingly, we find that tailoring standard masked modelling pre-training to time series properties yields a tiny \(7.1\,\)M encoder that matches the state-of-the-art performance of \(54\times\) larger encoders across \(162\) tasks, while requiring \(10\times\) less memory, \(43\times\) less energy, and \(37\times\) lower latency. To achieve this without the capacity tax, we introduce three novel components: (1) a domain-aware tokeniser to resolve conflicting semantics within multi-domain training data; (2) a dual masking strategy to capture spatiotemporal structures and temporal causality; and (3) a structure-aware objective to decouple feature learning from modelling noise. Consequently, OTIS produces high-quality time series features that enable state-of-the art performance in discriminative tasks and even extend seamlessly to generative tasks at minimal additional cost. To democratise access to powerful time series features on any system, we release our code and pre-trained weights.

摘要： 我们推出了 OTIS，这是一个开源的时间序列编码器，可为任何系统（包括资源受限的可穿戴设备和工业传感器）的下游部署生成高质量的时间序列特征。当前，强大的通用编码器的开发依赖于扩展定律假设，即使用大的编码器规模来记忆多域训练数据的异构分布。然而，这种对规模的依赖对现实世界的实用性造成了障碍，由于严格的内存、能量和延迟限制，在资源受限系统上的部署变得不可行。令人惊讶的是，我们发现将标准的掩码建模预训练针对时间序列属性进行定制，可以产生一个微型的 \(7.1\,\)M 编码器，它在 \(162\) 个任务中与比其大 \(54\times\) 的编码器的最先进性能相匹配，同时所需的内存减少了 \(10\times\)，能耗降低了 \(43\times\)，延迟降低了 \(37\times\)。为了在没有容量惩罚（capacity tax）的情况下实现这一点，我们引入了三个新颖的组件：(1) 用于解决多域训练数据中冲突语义的域感知分词器；(2) 用于捕获时空结构和时间因果关系的双重掩码策略；以及 (3) 将特征学习与建模噪声解耦的结构感知目标函数。因此，OTIS 生成的高质量时间序列特征能够在判别任务中实现最先进的性能，甚至以极小的额外成本无缝扩展到生成任务。为了在任何系统上普及强大的时间序列特征，我们开源了代码和预训练权重。

资源与链接： * 全文访问： 查看 PDF | HTML 版本（实验性） | TeX 源码 * 许可证： 知识共享署名 4.0 国际版 * 外部引用： Google 学术 | Semantic Scholar | NASA ADS

(Note: License icon associated with the article source) license icon

（注：与文章来源关联的许可证图标） license icon