跳转至

文章背景与核心概要

尽管大语言模型（LLMs）在高级数学推理基准测试中往往表现出色，但它们在处理基础数值任务（如数值大小比较、大整数算术、分数和科学记数法）时，常常会出现无法预测的失效。理解并克服这些底层局限，对于提升大语言模型在科学计算与日常生活中的可靠性至关重要。

本文引入了“数值接地框架”（Numerical Grounding Framework, NGF），旨在将基础数字能力与复杂的推理过程相隔离。NGF 将数字处理能力划分为两个核心组件：表示接地（Representational Grounding, RG）与程序接地（Procedural Grounding, PG）。通过该框架，作者深入探讨了现有模型的故障模式、标记化与嵌入结构的底层缺陷，并评估了多个前沿模型家族在各类数值基准上的表现。

最后，本文针对从头训练的模型提出了架构层面的干预措施（如感知数字的标记化和算盘嵌入），并为现有的预训练系统提供了可立即部署的缓解策略（如监督微调和推理支架），为未来构建数学能力更鲁棒的 AI 系统指明了方向。

Numeracy in Large Language Models: Fundamental Limitations and Paths to Improvement

arXiv: 2608.13129 [cs.AI]
Authors: Aoxin Ni
Submitted: August 13, 2026
Primary Subject: Artificial Intelligence (cs.AI)
DOI: 10.48550/arXiv.2608.13129

执行摘要

While Large Language Models (LLMs) frequently excel at high-level mathematical reasoning benchmarks, they often fail unpredictably on basic numerical tasks like magnitude comparison, large-integer arithmetic, fractions, and scientific notation.

尽管大语言模型（LLMs）在高级数学推理基准测试中往往表现出色，但它们在处理基础数值任务（如数值大小比较、大整数算术、分数和科学记数法）时，常常会出现无法预测的失效。

This paper introduces the Numerical Grounding Framework (NGF) to isolate fundamental numeracy from complex reasoning. NGF divides numerical capability into two core components: 1. Representational Grounding (RG): Translating numeral forms into values, magnitudes, and equivalent representations. 2. Procedural Grounding (PG): Accurately executing mathematical operations based on strict definitions.

本文引入了数值接地框架（Numerical Grounding Framework, NGF），旨在将基础数字能力与复杂的推理过程相隔离。NGF 将数字处理能力划分为两个核心组件： 1. 表示接地（Representational Grounding, RG）： 将数字形式转化为数值、大小和等效表示。 2. 程序接地（Procedural Grounding, PG）： 根据严格的定义准确执行数学运算。

Using the NGF, the author surveys diagnostic benchmarks, failure modes, underlying tokenization/embedding structures, and pretraining data distributions. The paper also conducts a multi-family frontier model evaluation across Number Cookbook, NumericBench, and GSM-Symbolic. Finally, the work outlines architectural interventions (such as digit-aware tokenization and Abacus Embeddings) for models trained from scratch, alongside deployment-ready mitigations—like supervised fine-tuning and reasoning scaffolds—for existing pretrained systems.

利用 NGF，作者调查了诊断基准、失效模式、底层标记化/嵌入结构以及预训练数据分布。该论文还在 Number Cookbook、NumericBench 和 GSM-Symbolic 上对多个前沿模型家族进行了评估。最后，该工作概述了针对从头训练模型的架构干预措施（如数字感知标记化和算盘嵌入），以及针对现有预训练系统的可直接部署的缓解措施（如监督微调和推理支架）。

数值接地框架（NGF）的核心概念

Key Concepts of the Numerical Grounding Framework (NGF)

  • Representational Grounding (RG): Focuses on how models map symbolic numeral inputs to internal semantic representations of value, scale, and equivalence.
  • Procedural Grounding (PG): Evaluates whether models reliably execute mathematical procedures (such as addition or multiplication rules) without relying purely on memorized heuristics.
  • 表示接地（RG）： 关注模型如何将符号化的数字输入映射到关于数值、尺度和等效性的内部语义表征。
  • 程序接地（PG）： 评估模型是否能够可靠地执行数学程序（如加法或乘法规则），而不完全依赖于死记硬背的启发式方法。

评估与发现

Evaluation & Findings

The paper evaluates frontier model families across three key benchmarks to compare atomic, contextual, and reasoning-assisted numeracy: * Number Cookbook * NumericBench * GSM-Symbolic

本文评估了三个关键基准上的前沿模型家族，以对比原子级、上下文级和推理辅助的数字能力： * Number Cookbook * NumericBench * GSM-Symbolic

Identified Vulnerabilities

  • Tokenization Bottlenecks: Standard subword tokenization splits numbers arbitrarily, obscuring place-value relationships.
  • Geometric & Positional Constraints: Embedding geometries and positional encodings often struggle to represent continuous numerical magnitudes monotonically.
  • Distributional Biases: Pretraining corpora frequently lack balanced distributions of large numbers and edge-case decimals, leading to poor generalization.

识别出的漏洞

  • 标记化瓶颈： 标准的子词标记化（subword tokenization）会任意分割数字，模糊了数位（place-value）之间的关系。
  • 几何与位置约束： 嵌入几何结构和位置编码在单调地表征连续数值大小时往往面临困难。
  • 分布偏差： 预训练语料库通常缺乏大数字和极端小数的均衡分布，导致泛化能力较差。

缓解策略与建议

Mitigation Strategies & Recommendations

1. Architectural Interventions (For Training from Scratch)

  • Digit-Aware Tokenization: Restructuring vocabularies to process numbers digit-by-digit or via specialized bases.
  • Abacus Embeddings: Modifying embedding spaces to better capture numerical magnitude and relative distance.

1. 架构干预（针对从头训练）

  • 数字感知标记化（Digit-Aware Tokenization）： 重构词表，以逐位方式或通过专门的进制处理数字。
  • 算盘嵌入（Abacus Embeddings）： 修改嵌入空间，以更好地捕捉数值大小和相对距离。

2. Practical Methods (For Pretrained Models)

  • Supervised Fine-Tuning (SFT): Targeted training on diverse numerical reasoning datasets.
  • Reasoning Scaffolds: Prompting strategies that encourage step-by-step verification.
  • External Tools: Offloading direct arithmetic computation to reliable external calculators or code interpreters.

2. 实用方法（针对预训练模型）

  • 监督微调（SFT）： 针对多样化的数值推理数据集进行定向训练。
  • 推理支架（Reasoning Scaffolds）： 鼓励逐步验证的提示词策略。
  • 外部工具： 将直接的算术计算卸载给可靠的外部计算器或代码解释器。

全文与获取链接

Full-Text & Access Links