跳转至

面向英特尔 AI PC 集群的分布式大模型推理预编译流水线分片技术

文章背景与核心概要

现代英特尔 AI PC (AIPC) 配备了强大的集成 GPU 和 NPU，并拥有 16GB 以上的统一内存，但这些计算资源往往处于闲置状态。然而，单台设备受限于内存容量，无法运行如 70B 参数量级的大型语言模型 (LLM)。

本文提出了一种分布式流水线并行框架，允许通过网络连接的普通 AIPC 集群协同工作，从而运行超出单机能力的超大规模模型。该系统将模型按层拆分为多个阶段的分片，并将其预编译为 OpenVINO 计算图。为了克服分布式架构中常见的性能瓶颈，作者引入了 IndirectKVCache 融合、状态化模型推测解码以及微批处理（Micro-batching）等关键优化技术。实验结果表明，该方案不仅能有效扩展模型规模，还能在多节点集群上实现显著的吞吐量提升。

📌 摘要

现代英特尔 AI PC (AIPC) 拥有强大的集成 GPU 和 NPU 以及 16GB 以上的统一内存，但这些资源经常处于闲置状态。然而，单台设备缺乏足够的内存来执行像 70B 参数模型这样的大型语言模型 (LLM)。

Modern Intel AI PCs (AIPCs) feature powerful integrated GPUs and NPUs with 16+ GB of unified memory, which frequently sit idle. However, a single device lacks sufficient memory to execute massive Large Language Models (LLMs) like 70B-parameter models.

本文介绍了一种分布式流水线并行框架，允许由普通联网 AIPC 组成的集群协同服务大型模型，突破了单台机器的能力限制。该系统将模型逐层拆分为各个阶段的分片，并预编译为 OpenVINO 计算图。

This paper introduces a distributed pipeline parallelism framework that allows a fleet of ordinary, networked AIPCs to collaboratively serve large models beyond the capability of any individual machine. The system splits the model layer-by-layer into per-stage shards pre-compiled into OpenVINO graphs.

为了克服分布式设置中典型的性能瓶颈，作者引入了三项关键优化： 1. IndirectKVCache 融合：在每个分片中注入 beam_idx Gather 操作，通过触发关键的 OpenVINO GPU 优化，恢复未拆分模型时的完整速度。 2. 推测解码：利用状态化 OpenVINO 模型进行推测解码。 3. 微批处理：在流水线阶段间交错处理并发用户请求，每个请求维护其独立的缓存。

To overcome the performance bottlenecks typical of distributed setups, the authors introduce three key optimizations: 1. IndirectKVCache Fusion: Injecting a beam_idx Gather operation into each shard to recover the full speed of the unsplit model by triggering vital OpenVINO GPU optimizations. 2. Speculative Decoding: Leveraging speculative decoding on stateful OpenVINO models. 3. Micro-batching: Interleaving concurrent user requests across pipeline stages, with each request maintaining its own cache.

关键结果

  • 双节点 Llama 3.1 8B INT4 流水线：在相同硬件上，其服务两个并发用户的吞吐量是未拆分模型的 1.79 倍（在模拟广域网延迟下，性能差距进一步扩大）。
  • 基于 Intel Tiber 云的四节点 Lunar Lake AI PC 部署：成功扩展并运行了 70B 模型，达到了交互式速度（输出的 Token 与非推测性四节点流水线完全一致）。

Key Results

  • A two-node Llama 3.1 8B INT4 pipeline serves two concurrent users at 1.79× the single-user throughput of the unsplit model on identical hardware (with performance gaps widening under simulated wide-area latency).
  • A four-node deployment of Lunar Lake AI PCs on Intel Tiber Cloud successfully scales to run a 70B model at interactive speeds (outputting tokens identically to a non-speculative four-node pipeline).

🔗 链接与资源

  • 代码与复现脚本：可在 GitHub 仓库 的顶层 reproduction/ 目录中获取。
  • Code & Reproduction Scripts: Available in the top-level reproduction/ directory of the GitHub Repository.