跳转至

MOSAIC:用于跨范式智能体混合与人机协作的通用智能体级接口

文章背景与核心概要

在当前的AI研究中,不同决策范式(如强化学习策略、大语言模型、视觉语言模型及人类操作员)通常运行在各自孤立的框架中,缺乏统一的交互基础设施。这导致研究人员很难在完全相同的环境和条件下对异构智能体进行公平的对比和协同。

为了弥合这一差距,本文推出了 MOSAIC 开源平台。该平台通过基于进程间通信(IPC)的工作进程协议、统一的算子抽象以及确定性的跨范式评估框架,首次实现了异构智能体在共享强化学习环境中的无缝混合与即兴团队协作。MOSAIC 的推出不仅极大地推动了多智能体系统(MAS)的兼容性研究,也为具身智能与人机混合决策提供了强有力的工具支持。


摘要 (Summary)

The paper introduces MOSAIC, an open-source platform designed to bridge the gap between different decision-making paradigms by enabling heterogeneous agents—including Reinforcement Learning (RL) policies, Large Language Models (LLMs), Vision-Language Models (VLMs), and human operators—to interact within shared reinforcement learning environments.

Key contributions of MOSAIC include: 1. IPC-Based Worker Protocol: Wraps native and third-party frameworks as isolated subprocess workers, executing logic unmodified via a versioned inter-process protocol. 2. Operator Abstraction: Forms a universal agent-level interface mapping diverse backends to uniform agent slots. 3. Deterministic Evaluation Framework: Features a manual mode for lock-step visual inspection and a script mode for automated, long-running reproducible experiments.

本文介绍了 MOSAIC,这是一个开源平台,旨在弥合不同决策范式之间的鸿沟,使异构智能体(包括强化学习策略、大语言模型、视觉语言模型和人类操作员)能够在共享的强化学习环境中以即兴团队(ad-hoc team)的形式进行交互。

MOSAIC 的核心贡献包括: 1. 基于 IPC 的工作进程协议: 将原生和第三方框架包装为隔离的子进程工作进程,通过带版本的进程间协议执行未经修改的逻辑。 2. 算子抽象: 形成一个通用的智能体级接口,将不同的后端映射到统一的智能体槽位。 3. 确定性评估框架: 具备用于步进式视觉检查的手动模式,以及用于自动化、长周期可复现实验的脚本模式


元数据与文档详情 (Metadata & Document Details)

  • arXiv 标识符: arXiv:2603.01260 [cs.LG]
  • 研究领域: 机器学习 (cs.LG);人工智能 (cs.AI)
  • 提交日期: 2026年3月1日(2026年9月10日修订,版本 v3)
  • 作者: Abdulhamid M. Mousa, Jinhui Pang, Rakhmonberdi Khajiev, Jalaledin M. Azzabi, Abdulkarim M. Mousa, Peng Yong, Yunusa Haruna, Ming Liu
  • 文档与资源: MOSAIC 文档

摘要原文 (Abstract)

Existing infrastructure cannot deploy agents from different decision-making paradigms within the same environment, making fair cross-paradigm comparison under identical conditions impossible. We present MOSAIC, an open-source platform that enables heterogeneous agents (RL policies, LLMs, VLMs, and human operators) to act within shared reinforcement learning environments in ad-hoc team settings with reproducible results. MOSAIC introduces three contributions. (i) IPC-based worker protocol that wraps native and third-party frameworks as isolated subprocess workers, each executing its own training and inference logic unmodified and communicating through a versioned inter-process protocol. (ii) An operator abstraction that forms an agent-level interface by mapping workers to agent slots: each operator, regardless of whether it is backed by an RL policy, an LLM, or a human, conforms to a minimal universal interface. (iii) A deterministic cross-paradigm evaluation framework with two complementary modes: a manual mode that advances up to \(N\) operators in lock-step under shared seeds for fine-grained visual inspection of behavioural differences; and a script mode that drives automated, long-running evaluation via declarative Python scripts for reproducible experiments.

现有基础设施无法在同一环境中部署来自不同决策范式的智能体,这使得在相同条件下进行公平的跨范式比较成为不可能。我们提出了 MOSAIC,这是一个开源平台,它使异构智能体(强化学习策略、大语言模型、视觉语言模型和人类操作员)能够在共享的强化学习环境中以即兴团队设置进行操作,并产生可复现的结果。MOSAIC 引入了三项贡献。(i) 基于 IPC 的工作进程协议,将原生和第三方框架包装为隔离的子进程工作进程,每个工作进程都在不修改自身训练和推理逻辑的情况下执行,并通过带版本的进程间协议进行通信。(ii) 算子抽象,通过将工作进程映射到智能体槽位来形成智能体级接口:每个算子(无论其背后是强化学习策略、大语言模型还是人类)都符合最低限度的通用接口。(iii) 具有两种互补模式的确定性跨范式评估框架:手动模式,在共享随机种子下同步推进多达 \(N\) 个算子,以便对行为差异进行细粒度视觉检查;脚本模式,通过声明式 Python 脚本驱动自动化、长周期的评估,以实现可复现的实验。