文章背景与核心概要

开放式湖仓表格式在长期运行过程中常常会积累大量的小数据文件，从而导致查询性能下降。传统上，压实决策通常依赖于简单的阈值规则，而驱动压实效用的具体元数据特征在很大程度上仍未得到充分研究。

本文介绍了一个开放的模拟框架，该框架生成了跨越三个数量级文件大小的 2,376 个 Apache Iceberg 表，并在不读取原始数据的情况下直接从清单文件中提取了 17 个元数据特征。研究训练了一个 XGBoost 模型来预测连续的文件缩减比例（\(R^2 = 0.998\)，\(\text{RMSE} = 0.013\)），同时证明了二进制压实决策可以通过简单的分区级阈值（max_files_per_partition > 4）来解决，无需复杂的学习模型。此外，该研究在无需重新训练的情况下，在 96 个 TPC-H 表上验证了跨架构的性能（\(R^2 = 0.976\)），并通过查询基准测试强调：尽管压实有助于元数据密集型查询，但它有时会因降低任务并行度而减慢全表扫描聚合的速度。

智能压实：通过湖仓表元数据预测压实效用

arXiv ID: arXiv:2608.08639 [cs.AI]
作者: Jannic Cutura, Subash Prakash
提交时间: 2026年8月9日

📌 摘要

Open lakehouse table formats often accumulate small data files over time, leading to degraded query performance. Conventionally, compaction decisions rely on basic threshold rules, and the specific metadata features driving compaction utility remain largely unexamined.

开放式湖仓表格式在长期运行过程中常常会积累大量的小数据文件，从而导致查询性能下降。传统上，压实决策通常依赖于简单的阈值规则，而驱动压实效用的具体元数据特征在很大程度上仍未得到充分研究。

This paper introduces an open simulation framework that: * Generates 2,376 Apache Iceberg tables across three orders of magnitude in file size. * Extracts 17 metadata features directly from manifest files without reading raw data. * Trains an XGBoost model to predict continuous file-reduction ratios (\(R^2 = 0.998\), \(\text{RMSE} = 0.013\)). * Demonstrates that binary compaction decisions can be solved simply using a partition-level threshold (max_files_per_partition > 4), requiring no learned model. * Validates cross-schema performance on 96 TPC-H tables without retraining (\(R^2 = 0.976\)). * Highlights via a query benchmark that while compaction aids metadata-heavy queries, it can occasionally slow down full-scan aggregations by reducing task parallelism.

本文介绍了一个开放的模拟框架，该框架具有以下特点： * 生成了跨越三个数量级文件大小的 2,376 个 Apache Iceberg 表。 * 在不读取原始数据的情况下，直接从清单文件（manifest files）中提取 17 个元数据特征。 * 训练了一个 XGBoost 模型来预测连续的文件缩减比例（\(R^2 = 0.998\)，\(\text{RMSE} = 0.013\)）。 * 证明了二进制压实决策可以通过简单的分区级阈值（max_files_per_partition > 4）来解决，无需任何学习模型。 * 在无需重新训练的情况下，在 96 个 TPC-H 表上验证了跨架构的性能（\(R^2 = 0.976\)）。 * 通过查询基准测试强调：尽管压实有助于元数据密集型查询，但它有时会通过降低任务并行度来减慢全表扫描聚合的速度。

📑 论文元数据与概览

🔗 全文与外部链接

• 访问选项：
• 查看 PDF
• HTML 版本（实验性）
• TeX 源码
• 引用与指标：
• Google Scholar
• Semantic Scholar
• NASA ADS