跳转至

文章背景与核心概要

在处理高维组学数据时，基于 Transformer 的模型往往面临效率瓶颈，因为在数千个基因或通路中，只有极少数真正需要深度计算。虽然“递归混合模型”（Mixture-of-Recursions, MoR）通过自适应路由机制提升了计算效率，但现有的通用方法缺乏对生物学领域知识的感知。

为了解决这一问题，作者提出了 bioMoR，这是首个将 MoR 直接应用于基因和通路级学习的框架。通过整合结构化的生物学知识，bioMoR 优化了资源分配，不仅实现了卓越的预测性能，还通过标记基因和通路特异性的递归深度，保持了模型在生物学上的可解释性。

bioMoR：用于高效基因组学习的生物学引导递归混合模型

arXiv: [2608.06727 [cs.AI]] (https://arxiv.org/abs/2608.06727)
学科: 人工智能 (cs.AI); 机器学习 (cs.LG)
提交日期: 2026年8月7日
作者: Koushik Howlader, Tirtho Roy, Md Tauhidul Islam, Wei Le

📌 摘要

Transformer-based models designed for high-dimensional omics analysis often struggle with efficiency when processing thousands of genes or pathways, as only a small subset genuinely requires deep computation. While Mixture-of-Recursions (MoR) improves computational efficiency through adaptive routing, standard approaches lack domain-specific biological awareness.

To overcome this, the authors introduce bioMoR, the first framework to apply MoR directly to gene- and pathway-level learning. By leveraging structured biological knowledge, bioMoR optimizes resource allocation, achieves superior predictive performance, and maintains biological interpretability through marker genes and pathway-specific recursion depths.

🧬 关键创新与方法论

bioMoR 框架通过以下三种核心技术，将结构化生物学知识嵌入到 MoR 主干网络中：

The bioMoR framework embeds structured biological knowledge into the MoR backbone through three core techniques:

  1. 基于图的信息共享： 通过整合已知的生物学关系和相互作用，优化了 Token 嵌入。
  1. Graph-Based Information Sharing: Refines token embeddings by incorporating known biological relationships and interactions.
  1. 自注意力机制中的结构偏差： 引导自注意力机制优先关注生物学相关的 Token。
  1. Structural Bias in Self-Attention: Guides the self-attention mechanism to preferentially focus on biologically related tokens.
  1. 图感知路由器： 利用局部邻域信息，为每个 Token 动态确定最佳递归深度。
  1. Graph-Aware Router: Utilizes local neighborhood information to dynamically determine the optimal recursion depth for each token.

📊 性能与结果

通过在涵盖多种组学数据的八个不同基准测试中进行严格的五折交叉验证，bioMoR 展现出优于现有基准的显著改进：

Evaluated across eight diverse benchmarks spanning multiple omics data types under a rigorous five-fold cross-validation protocol, bioMoR demonstrates significant improvements over existing baselines:

  • 准确性： 与最强的非生物学感知 MoR 基准相比，平均宏观 F1 分数（macro-F1）提高了 8.2 个百分点，平衡准确率提高了 7.1 个百分点。
  • Accuracy: Improves average macro-F1 by 8.2 percentage points and balanced accuracy by 7.1 percentage points over the strongest biology-agnostic MoR baseline.
  • 效率： 与传统的非递归 Transformer 相比，参数量减少了 75%，浮点运算次数（FLOPs）减少了高达 58%。
  • Efficiency: Operates with 75% fewer parameters and uses up to 58% fewer FLOPs compared to traditional non-recursive Transformers.
  • 可解释性： 突出了特定的标记基因/通路以及 Token 特定的递归深度，为网络计算如何动态分配提供了透明的视图。
  • Interpretability: Highlights specific marker genes/pathways and token-specific recursion depths, offering a transparent view of how network computation is dynamically allocated.

🔗 链接与资源