跳转至

文章背景与核心概要

金融问答（Financial QA）是评估大语言模型（LLM）处理涉及表格、图表和丰富文本叙述等混合数据格式的复杂领域特定任务的关键基准。尽管多模态推理和多步算术近期取得了进展，但现有模型的性能仍然不稳定且评估不可靠——这主要是因为诸如精确匹配（EM）等标准指标无法应对单位或格式差异等无害变体。

为了解决这些挑战，本文引入了一个综合框架，通过高端合成数据生成和参数高效微调来增强金融问答系统：1. 严格的合成数据验证：确保合成生成的问答对在事实上的正确性和相关性的流水线；2. 量化低秩自适应（QLoRA）：应用于小型语言模型（SLM）的高效微调；3. 基于表达式的评估指标：一种新颖的评估指标，直接从算术表达式计算答案，而非死板的基础真值匹配，从而更真实地反映模型的推理能力；4. 语义感知损失函数：一种修改后的损失机制，通过结合语义相似度、新颖评估指标和标准交叉熵来对齐预测表达式与参考表达式。实验结果表明，在结合合成数据集和所提出的损失函数进行微调后，诸如 ConvFinQA 等基准数据集上的问答准确率得到了显着提升。

From Documents to Reasoning: A Validated Synthetic Data Pipeline and Semantic-Aware Fine-Tuning for Financial Numerical Reasoning

arXiv: arXiv:2608.27919 [cs.AI]
DOI: 10.48550/arXiv.2608.27919
Submitted: August 28, 2026

arXiv: arXiv:2608.27919 [cs.AI]
DOI: 10.48550/arXiv.2608.27919
Submitted: August 28, 2026

Authors

  • Lokendra Birla
  • Milind Savagaonkar
  • Visnu Srinivasan
  • Sowmya Rasipuram
  • Shubhashis Sengupta

Authors

  • Lokendra Birla
  • Milind Savagaonkar
  • Visnu Srinivasan
  • Sowmya Rasipuram
  • Shubhashis Sengupta

Abstract Summary

Financial Question Answering (QA) serves as a critical benchmark for evaluating Large Language Models (LLMs) on complex domain-specific tasks that involve mixed data formats like tables, charts, and rich textual narratives. Despite recent strides in multi-modal reasoning and multi-step arithmetic, current models suffer from inconsistent performance and evaluation unreliability—largely because standard metrics like Exact Match (EM) fail to account for benign variations such as differing units or formats.

金融问答（Financial QA）是评估大语言模型（LLM）处理涉及表格、图表和丰富文本叙述等混合数据格式的复杂领域特定任务的关键基准。尽管多模态推理和多步算术近期取得了进展，但现有模型的性能仍然不稳定且评估不可靠——这主要是因为诸如精确匹配（EM）等标准指标无法应对单位或格式差异等无害变体。

To address these challenges, this paper introduces a comprehensive framework for enhancing financial QA systems through high-end synthetic data generation and parameter-efficient fine-tuning:

为了解决这些挑战，本文引入了一个综合框架，通过高端合成数据生成和参数高效微调来增强金融问答系统：

  1. Aggressive Synthetic Data Validation: A pipeline that ensures the factual correctness and relevance of synthetically generated question-answer pairs.
  2. Quantized Low-Rank Adaptation (QLoRA): Efficient fine-tuning applied to smaller language models (SLMs).
  3. Expression-Based Evaluation Metric: A novel evaluation metric that assesses answers computed directly from arithmetic expressions rather than rigid ground-truth matches, offering a truer reflection of model reasoning capabilities.
  4. Semantic-Aware Loss Function: A modified loss mechanism that aligns predicted and reference expressions by combining semantic similarity, the novel evaluation metric, and standard cross-entropy.
  1. 严格的合成数据验证： 确保合成生成的问答对在事实上的正确性和相关性的流水线。
  2. 量化低秩自适应（QLoRA）： 应用于小型语言模型（SLM）的高效微调。
  3. 基于表达式的评估指标： 一种新颖的评估指标，直接从算术表达式计算答案，而非死板的基础真值匹配，从而更真实地反映模型的推理能力。
  4. 语义感知损失函数： 一种修改后的损失机制，通过结合语义相似度、新颖评估指标和标准交叉熵来对齐预测表达式与参考表达式。

Results: Experiments conducted on benchmark datasets like ConvFinQA demonstrate substantial improvements in QA accuracy following fine-tuning with the synthetic dataset and the proposed loss function.

结果： 在诸如 ConvFinQA 等基准数据集上进行的实验表明，在结合合成数据集和所提出的损失函数进行微调后，问答准确率得到了显着提升。

Article Metadata & Links

Article Metadata & Links