跳转至

BEAR-Bench：面向多模态模型的双语企业与学术推理基准

文章背景与核心概要

尽管多模态大模型（MLLMs）在视觉理解领域取得了显著进展，但现有的基准测试往往局限于信息提取、依赖外部领域知识，或者对非英语语言（特别是俄语）缺乏足够的代表性。为了应对这些局限性，BEAR-Bench（双语企业与学术推理基准）应运而生，旨在全面评估MLLM在理解和推理文本密集型、专业商业及科学文档方面的能力。

该基准包含1,000个由人工标注的高质量问题，构建自复杂的英语和俄语专业文档。通过对16个闭源与开源MLLM（如Gemini 3.1 Pro和Qwen3.5-397B）的评估表明，即使是顶级系统也仍有巨大的提升空间。此外，作者还利用这些模型的输出结果评估了现有的幻觉检测方法，不仅分析了模型出错的频率，还探讨了这些错误被可靠识别的难易程度。

摘要 (Summary)

BEAR-Bench (Bilingual Enterprise and Academic Reasoning Benchmark) is designed to address the limitations of existing Multimodal Large Language Models (MLLMs) in comprehending and reasoning over text-dense, professional business and scientific documents. While MLLMs have advanced in visual comprehension, current benchmarks often focus narrowly on information extraction, require outside domain knowledge, or leave non-English languages—particularly Russian—largely underrepresented.

BEAR-Bench（双语企业与学术推理基准）旨在解决现有多数多模态大模型（MLLM）在理解和推理文本密集型、专业商业及科学文档时的局限性。尽管MLLM在视觉理解方面取得了进展，但当前的基准测试往往过于狭隘地聚焦于信息提取、需要外部领域知识，或者对非英语语言（特别是俄语）的覆盖严重不足。

To bridge this gap, BEAR-Bench introduces 1,000 human-annotated questions built from complex English and Russian documents. Evaluations across 16 proprietary and open-weight MLLMs (such as Gemini 3.1 Pro and Qwen3.5-397B) highlight substantial room for improvement even among the top systems. Furthermore, the authors utilize these outputs to assess existing hallucination detection methods, analyzing not just how often models fail, but how reliably those failures can be identified.

为了弥合这一差距，BEAR-Bench 引入了由复杂英语和俄语文档构建的 1,000 个经人工标注的问题。对 16 个闭源和开源 MLLM（例如 Gemini 3.1 Pro 和 Qwen3.5-397B）的评估表明，即使在顶级系统之中，也仍有巨大的改进空间。此外，作者利用这些输出评估了现有的幻觉检测方法，不仅分析了模型失效的频率，还分析了这些失效能被可靠识别的程度。

论文元数据 (Paper Metadata)

作者 (Authors)

  • Liubov Chubarova
  • Alexandra Kuleshova
  • Daniil Volkov
  • Kirill Sultanov
  • Alexey Zaytsev

作者 (Authors)

  • Liubov Chubarova
  • Alexandra Kuleshova
  • Daniil Volkov
  • Kirill Sultanov
  • Alexey Zaytsev

访问与资源 (Access & Resources)