文章背景与核心概要
大语言模型（LLMs）在各项任务中展现出了强大的能力，但其内部决策过程往往如同“黑箱”，缺乏足够的透明度和可解释性。为了解决这一痛点，本文介绍了一种名为 DMDIntel 的全新框架，旨在提升大语言模型在分类任务中的可解释性。
该研究的核心技术在于引入了动态模态分解（Dynamic Mode Decomposition, DMD）方法。通过将模型的隐藏状态分解为“显著模式”（模态），DMDIntel 构建了一个高效的输入归因管道，并根据投影值对输入词元（tokens）进行重要性排序。在三个数据集和三个不同模型系列上的广泛实验表明，DMDIntel 的性能显著优于主成分分析（PCA）、集成梯度（Integrated Gradients）和 SHAP 等传统主流可解释性技术。
DMDIntel：通过动态模ate分解解释大语言模型
arXiv: 2608.13048
日期: 2026年8月13日
作者: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov
学科: 人工智能 (cs.AI)
摘要
DMDIntel is a novel framework designed to enhance the interpretability of Large Language Models (LLMs) during classification tasks. By leveraging Dynamic Mode Decomposition (DMD), the authors introduce an input attribution pipeline that decomposes the model's hidden states into "prominent patterns" (modes). These modes are then used to assign ranks to input tokens based on their projection values. Empirical evaluations across three datasets and three distinct model families demonstrate that DMDIntel significantly outperforms established interpretability techniques, including Principal Component Analysis (PCA), Integrated Gradients, and SHAP.
DMDIntel 是一个旨在增强大语言模型（LLMs）在分类任务中可解释性的新颖框架。通过利用动态模态分解（DMD），作者引入了一个输入归因管道，将模型的隐藏状态分解为“显著模式”（模态）。然后，这些模态根据其投影值用于对输入词元进行等级分配。在三个数据集和三个不同模型系列上的实证评估表明，DMDIntel 显著优于包括主成分分析（PCA）、集成梯度（Integrated Gradients）和 SHAP 在内的既定可解释性技术。
核心特性
- Dynamic Mode Decomposition: Utilizes DMD to extract meaningful structural patterns from hidden state dynamics.
- Input Attribution Pipeline: Maps internal model representations back to specific input tokens to provide clear, ranked explanations for model predictions.
- Superior Performance: Validated against state-of-the-art baselines, showing consistent improvements in attribution accuracy and reliability.
- 动态模态分解： 利用 DMD 从隐藏状态动力学中提取有意义的结构模式。
- 输入归因管道： 将模型内部表征映射回特定的输入词元，为模型预测提供清晰、分级的解释。
- 卓越性能： 经最先进的基准测试验证，显示出在归因准确性和可靠性方面的持续改进。
访问与资源
全文链接
许可证
引用与元数据
- DOI: https://doi.org/10.48550/arXiv.2608.13048
- External Tools: