跳转至

FIDES：大模型生成交易策略的一致性协议

文章背景与核心概要

本文介绍了一种名为 FIDES 的新型测量协议，旨在解决大语言模型（LLM）在生成金融交易策略时表现出的言行不一与性能幻觉问题。传统上，LLM 生成的交易策略通常将自然语言推理、可执行代码和回测表现视为单一交付物，而 FIDES 则将其拆解为三个独立视角，并对其进行持续协调和一致性测量。

通过对 8 只流动性良好的美国 ETF、4 种不同的 LLM 以及在 2023 年至 2024 年样本外期间测试的 40 个独立策略进行实证评估，该研究揭示了模型所声称的策略意图、其实际执行的代码逻辑以及最终的市场表现之间存在显著差异。FIDES 作为一个强大的测量保真度与评估协议，为未来审视大模型在金融领域应用中的可靠性提供了重要的技术框架。

FIDES: A Concordance Protocol for LLM-Generated Trading Strategies

FIDES：大模型生成交易策略的一致性协议

Executive Summary

执行摘要

When Large Language Models (LLMs) are tasked with generating financial trading strategies, they typically produce three distinct artifacts: a natural-language rationale, an executable code implementation, and a performance track record once executed. Traditionally, these elements are treated as a single deliverable. FIDES is a novel measurement protocol that instead treats them as three independent views to be continuously reconciled and measured for consistency.

当大语言模型（LLM）被委派生成金融交易策略的任务时，它们通常会产生三种不同的产物：自然语言推理、可执行的代码实现，以及执行后的业绩表现记录。传统上，这些要素被视为单一的交付物。FIDES 是一种新型的测量协议，它转而将这些产物视为三个独立的视角，进行持续的核对并测量其一致性。

Through empirical evaluation across 8 liquid US ETFs, 4 different LLMs, and 40 individual strategies tested over an out-of-sample period from 2023 to 2024, the study demonstrates significant discrepancies between what models say they are doing, what their code actually executes, and how the strategies ultimately perform.

通过对 8 只流动性良好的美国 ETF、4 种不同的 LLM 以及在 2023 年至 2024 年样本外期间测试的 40 个独立策略进行的实证评估，该研究表明：模型嘴上声称在做的、其代码实际执行的，以及策略最终表现出来的效果之间存在显著的差异。

Metadata

元数据

  • Primary Subject: Cryptography and Security (cs.CR)
  • 主要学科: 密码学与安全 (cs.CR)
  • Secondary Subjects: Artificial Intelligence (cs.AI)
  • 次要学科: 人工智能 (cs.AI)
  • Authors: Arther Tian, Alex Ding, Simon Wu, Aaron Chan
  • 作者: Arther Tian, Alex Ding, Simon Wu, Aaron Chan
  • Submitted: August 24, 2026
  • 提交时间: 2026年8月24日

Overview of the FIDES Protocol

FIDES 协议概述

FIDES introduces a dual-delivery mechanism where a single model prompt forces the simultaneous return of: 1. A natural-language strategy featuring an explicit, claimed market edge. 2. A self-contained executable strategy function (strategy(df)).

FIDES 引入了一种双重交付机制，其中单个模型提示词强制要求同时返回： 1. 包含明确且声称的市场优势的自然语言策略。 2. 一个自包含的可执行策略函数（strategy(df)）。

The protocol sandboxes and executes the returned code against a lag-one out-of-sample backtest, scoring three distinct concordance gaps: * Say-to-Do: Does the executable code match the natural-language rationale? * Do-to-Real: Do the actual runtime mechanics align with the coded logic? * Say-to-Result: Do the actual strategy results support the claimed market edge?

该协议将返回的代码放入沙盒中，并针对滞后一期的样本外回测进行执行，以此对三个不同的一致性鸿沟（concordance gaps）进行评分： * 言行一致（Say-to-Do）： 可执行代码是否与自然语言推理相符？ * 行实一致（Do-to-Real）： 实际的运行机制是否与编写的代码逻辑保持一致？ * 言效一致（Say-to-Result）： 实际的策略结果是否支持其所声称的市场优势？

Key Empirical Findings

关键实证发现

The evaluation of 40 strategies across four models and a two-stage elicitation arm revealed three primary insights:

对 4 个模型和两阶段引导分支中的 40 个策略进行的评估揭示了三个主要的见解：

  1. Concordance Does Not Predict Profit: High internal consistency does not equate to alpha generation. Only 2 out of the 40 generated strategies managed to beat a basic buy-and-hold benchmark. Furthermore, a rudimentary Moving Average rule—sma(50, 200)—outperformed the mean Sharpe ratio of every tested LLM.
  2. Poor Self-Assessment Calibration: LLMs suffer from severe overconfidence. While 32 out of the 40 strategies explicitly claimed they would outperform a buy-and-hold approach, exactly one strategy actually succeeded in doing so.
  3. Fragility in Strategy Judging: Replacing the language-code judge model with a secondary model flipped the evaluation of the say-to-do concordance on over 50% of the items. Additionally, injecting a data-shifting anomaly (Close.shift(-1)) severely penalized do-to-real concordance metrics, validating the sensitivity of the measurement framework.
  1. 一致性并不能预测盈利： 高内部一致性并不等同于产生超额收益（Alpha）。在生成的 40 个策略中，只有 2 个成功跑赢了基础的买入并持有（buy-and-hold）基准。此外，一个简陋的移动平均规则——sma(50, 200)——其表现超越了所测试的每个 LLM 的平均夏普比率。
  2. 糟糕的自我评估校准： LLM 存在严重的过度自信。在 40 个策略中，有 32 个明确声称它们将跑赢买入并持有策略，但实际上只有一个策略真正做到了这一点。
  3. 策略评估的脆弱性： 用次要模型替换语言-代码评判模型，会导致超过 50% 的“言行一致”评估结果发生翻转。此外，注入数据偏移异常（Close.shift(-1)）会严重惩罚“行实一致”的度量指标，从而验证了该测量框架的敏感性。

(Note: The authors frame FIDES strictly as a robust protocol for measurement fidelity and evaluation, rather than a system designed to achieve market-beating financial performance.)

（注：作者将 FIDES 严格定义为一个用于测量保真度和评估的稳健协议，而不是一个旨在实现超越市场金融表现的系统。）

Full-Text & Access Links

全文与访问链接