文章背景与核心概要
随着人工智能技术的演进，复合人工智能工作流（Compound AI Workflows）通过协调多个模型和软件组件来执行复杂的任务，已成为当前的重要趋势。然而，这种灵活性带来了极大的部署挑战：为了满足服务等级目标（SLO），系统必须在每个阶段的模型选择与异构集群的资源放置之间进行复杂权衡。现有的优化方法往往因为端到端评测成本高昂，或者由于将各个阶段视为独立的“基于乘积的准确度替代模型”而忽略了上游误差的传播，导致候选方案评估失准。
为了解决这一痛点，本文作者推出了 Atlas 框架，旨在严格的 SLO 约束下优化复合 AI 的部署。Atlas 的核心创新是引入了 MAP（马尔可夫准确度预测器，Markovian Accuracy Predictor），该机制通过评估相邻工作流阶段之间的局部条件准确度转换来评估配置准确度。通过将中间输出离散化为准确度区间（buckets）并结合工作流拓扑结构进行组合，Atlas 能够在无需进行穷举式端到端评测的情况下准确预测部署准确度。随后，执行方案的选择被建模为一个混合整数线性规划（MILP）问题进行求解。
Atlas：在异构集群上优化复合人工智能工作流的部署
作者： Milos Gravara, Andrija Stanisic, Stefan Nastic
提交时间： 2026年9月3日
主要学科： 分布式、并行与集群计算 (cs.DC)
次要学科： 人工智能 (cs.AI)
会议： 已被 IEEE/ACM 边缘计算研讨会（SEC 2026）接受
标识符： arXiv:2609.04513 [cs.DC] | DOI：10.48550/arXiv.2609.04513
📌 执行摘要
复合人工智能工作流协调多个模型和软件组件以执行复杂任务。虽然它在模型变体和资源配置方面提供了灵活性，但这种架构显著复杂化了部署。寻找满足服务等级目标（SLO）的执行方案，需要在每个阶段的模型选择与跨异构集群的资源放置之间进行权衡。
现有部署优化器陷入困境的原因包括： 1. 完整配置的端到端评测（End-to-end profiling）具有极差的可扩展性。 2. 基于乘积的准确度替代模型（Product-based accuracy surrogates）将各个阶段视为独立的，忽略了上游错误如何传播并扭曲下游性能，从而导致候选方案的排名错误。
为了解决这个问题，作者推出了 Atlas，这是一个旨在严格的 SLO 约束下优化复合 AI 部署的框架。Atlas 具备 MAP（马尔可夫准确度预测器） 这一创新机制，它通过评估相邻工作流阶段之间的局部条件准确度转换来评估配置准确度。通过将中间输出离散化为准确度区间并通过工作流拓扑结构对其进行组合，Atlas 能够在无需进行穷举式端到端评测的情况下准确预测部署准确度。随后，执行方案的选择被构想为一个混合整数线性规划（MILP）问题。
Compound AI workflows coordinate multiple models and software components to execute complex tasks. While offering flexibility in model variants and resource configurations, this architecture significantly complicates deployment. Finding an execution plan that meets Service Level Objectives (SLOs) requires balancing model selection per stage and resource placement across a heterogeneous cluster.
Existing deployment optimizers struggle because: 1. End-to-end profiling of complete configurations scales poorly. 2. Product-based accuracy surrogates treat stages as independent, ignoring how upstream errors propagate and distort downstream performance, leading to misranked candidate plans.
To solve this, the authors introduce Atlas, a framework designed to optimize compound AI deployments under strict SLO constraints. Atlas features MAP (Markovian Accuracy Predictor), a novel mechanism that evaluates configuration accuracy using local conditional accuracy transitions between adjacent workflow stages. By discretizing intermediate outputs into accuracy buckets and composing them via workflow topology, Atlas accurately predicts deployment accuracy without exhaustive end-to-end profiling. The execution-plan selection is subsequently framed as a mixed-integer linear program (MILP).
🚀 核心贡献与成果
- 马尔可夫准确度预测器（MAP）： 有效地从相邻阶段之间的局部条件准确度转换来估计系统配置的准确度。
- 可扩展优化： 与穷举式端到端评测相比，实现了高达 0.947 的斯皮尔曼相关系数（Spearman correlation），同时将评测成本降低了高达 2.6倍。
- 高性价比的资源放置： Atlas 优化器选择的执行方案在 达到接近预言机（oracle）准确度 0.03 差距内 的同时，通过智能的异构资源放置，将部署成本大幅削减了高达 42%。
- Markovian Accuracy Predictor (MAP): Effectively estimates system configuration accuracy from local conditional accuracy transitions across adjacent stages.
- Scalable Optimization: Achieves a Spearman correlation of up to 0.947 while reducing profiling costs by up to 2.6× compared to exhaustive end-to-end profiling.
- Cost-Efficient Placement: The Atlas optimizer selects execution plans within 0.03 of oracle accuracy while slashing deployment costs by up to 42% via intelligent heterogeneous resource placement.
🔗 链接与资源
