自监督预训练对于提升医疗时间序列诊断真的有用吗？
文章背景与核心概要
在长文本基准测试中，自监督预训练（Self-PreTraining, SPT）已被证明能有效增强 Transformer 架构的性能。本文探讨了这一技术是否同样适用于医疗时间序列诊断，以改善模型的性能与可扩展性。
通过在三个多样化的医疗数据集（康复机器人、压力检测和帕金森病检测）上评估 Transformer 模型，作者发现 SPT 能够将分类准确率持续提升 0 到 6 个百分点。这一优势在模型层数更深以及临床数据受限的场景下尤为明显，为在不需要特定架构修改的情况下提高医疗AI的鲁棒性提供了一种简单且通用的策略。
📌 Executive Summary
This paper investigates whether Self-PreTraining (SPT)—a technique known to enhance transformer architectures on long-context benchmarks—can similarly improve the performance and scalability of models used in medical time-series diagnosis.
By evaluating transformer models across three diverse medical datasets (rehabilitation robotics, stress detection, and Parkinson's disease detection), the authors demonstrate that SPT consistently boosts classification accuracy by 0 to 6 percentage points, especially in deeper models and data-constrained clinical settings.
本文探讨了自监督预训练（SPT）——这一在长文本基准测试中已知能增强 Transformer 架构的技术——是否同样能够提升用于医疗时间序列诊断的模型的性能和可扩展性。
本文探讨了自监督预训练（SPT）——这一在长文本基准测试中已知能增强 Transformer 架构的技术——是否同样能够提升用于医疗时间序列诊断的模型的性能和可扩展性。
通过在三个不同的医疗数据集（康复机器人、压力检测和帕金森病检测）上评估 Transformer 模型，作者证明了 SPT 能够将分类准确率持续提升 0 到 6 个百分点，特别是在更深的模型和数据受限的临床环境中。
📖 Abstract
Inspired by recent evidence that transformer architectures benefit from Self-PreTraining (SPT) on long-context benchmarks, we investigate whether similar gains extend to multimodal, multivariate, and even simple univariate medical time series. Our objective is to assess the impact of SPT on the performance and scalability of transformer-based models across diverse medical applications, particularly under limited data conditions.
受到近期证据的启发——即 Transformer 架构受益于长文本基准上的自监督预训练（SPT），我们研究了类似的收益是否能延伸到多模态、多变量甚至简单的单变量医疗时间序列中。我们的目标是评估 SPT 在不同医疗应用中对基于 Transformer 的模型的性能和可扩展性的影响，特别是在数据有限的条件下。
受到近期证据的启发——即 Transformer 架构受益于长文本基准上的自监督预训练（SPT），我们研究了类似的收益是否能延伸到多模态、多变量甚至简单的单变量医疗时间序列中。我们的目标是评估 SPT 在不同医疗应用中对基于 Transformer 的模型的性能和可扩展性的影响，特别是在数据有限的条件下。
We evaluate transformer architectures on three representative medical time-series tasks: * Rehabilitation robotics: Camargo dataset * Stress detection: Non-EEG Stress dataset * Parkinson's disease detection: Gait Parkinson's Disease dataset
我们在三个具有代表性的医疗时间序列任务上评估了 Transformer 架构： * 康复机器人： Camargo 数据集 * 压力检测： 非脑电图（Non-EEG）压力数据集 * 帕金森病检测： 步态帕金森病数据集
我们在三个具有代表性的医疗时间序列任务上评估了 Transformer 架构： * 康复机器人： Camargo 数据集 * 压力检测： 非脑电图（Non-EEG）压力数据集 * 帕金森病检测： 步态帕金森病数据集
Models are trained either from scratch or through SPT using four masking-based objectives designed to promote temporal and cross-modal representation learning, and we systematically vary model depth to examine how capacity interacts with pre-training benefits.
模型既可以从头开始训练，也可以通过 SPT 进行训练，其中使用了四种基于掩码的目标，旨在促进时间和跨模态表征学习；我们系统地改变了模型深度，以检查模型容量如何与预训练的好处相互作用。
模型既可以从头开始训练，也可以通过 SPT 进行训练，其中使用了四种基于掩码的目标，旨在促进时间和跨模态表征学习；我们系统地改变了模型深度，以检查模型容量如何与预训练的好处相互作用。
Across datasets and configurations, SPT consistently improves classification accuracy by 0–6 percentage points depending on the masking strategy, dataset, and architecture. These gains are observed not only in multivariate settings but also when models are restricted to simple univariate inputs. Furthermore, the improvements increase for deeper models that can better exploit the enriched temporal representations learned during pre-training.
在不同的数据集和配置下，根据掩码策略、数据集和架构的不同，SPT 始终将分类准确率提高了 0-6 个百分点。这些收益不仅在多变量设置中观察到，而且当模型仅限于简单的单变量输入时也能观察到。此外，对于能够更好地利用预训练期间学习到的丰富时间表征的更深层模型，这种改进更为显著。
在不同的数据集和配置下，根据掩码策略、数据集和架构的不同，SPT 始终将分类准确率提高了 0-6 个百分点。这些收益不仅在多变量设置中观察到，而且当模型仅限于简单的单变量输入时也能观察到。此外，对于能够更好地利用预训练期间学习到的丰富时间表征的更深层模型，这种改进更为显著。
These findings indicate that SPT is a simple and general strategy that enhances transformer performance on medical time-series tasks without requiring task-specific architectural changes, supporting its potential to improve robustness and accuracy in data-limited clinical settings.
这些发现表明，SPT 是一种简单且通用的策略，可以在不需要特定任务架构修改的情况下增强 Transformer 在医疗时间序列任务上的性能，从而支持其在数据受限的临床环境中提高鲁棒性和准确性的潜力。
这些发现表明，SPT 是一种简单且通用的策略，可以在不需要特定任务架构修改的情况下增强 Transformer 在医疗时间序列任务上的性能，从而支持其在数据受限的临床环境中提高鲁棒性和准确性的潜力。
📊 Paper Metadata & Additional Information
| Metadata Field | Details |
|---|---|
| Primary Subject | Machine Learning (cs.LG) |
| Secondary Subjects | Artificial Intelligence (cs.AI) |
| MSC Classes | 68T07, 62M10, 92C55 |
| ACM Classes | I.2.6; I.5.4; J.3 |
| Full-Text & References | • View PDF • TeX Source • Google Scholar • Semantic Scholar |
| License |  Creative Commons Attribution 4.0 |
| 元数据字段 | 详情 |
|---|---|
| 主要学科 | 机器学习 (cs.LG) |
| 次要学科 | 人工智能 (cs.AI) |
| MSC 分类 | 68T07, 62M10, 92C55 |
| ACM 分类 | I.2.6; I.5.4; J.3 |
| 全文与参考文献 | • 查看 PDF • TeX 源码 • 谷歌学术 • Semantic Scholar |
| 许可协议 | Creative Commons Attribution 4.0 |