文章背景与核心概要

开放互联网长期依赖一项不成文的默契：网站向网络爬虫开放抓取权限，搜索引擎则以回流访客流量作为回馈。然而，随着 AI 爬虫和自动化智能体 (AI Agent) 的爆发式增长，这一共生生态正迅速瓦解——AI 平台抓取海量网页用于模型训练，却几乎不再返还任何实际访问流量。传统的 robots.txt 既无法表达客户端身份与访问意图，更不支持声明使用条款或计费标准。为了重建内容提供方与 AI 智能体之间的信任纽带，本文提出了 terms.txt 协议。该协议借鉴了 robots.txt 的简洁语法，结合源站端加密签名、意图声明、HTTP 402 付费协商以及数字收据，构建了一套端到端的机器访问知情同意与付费补偿标准，为 AI 时代的网络经济秩序奠定了技术基石。

terms.txt：面向智能体网络访问的知情同意与补偿协议

terms.txt: A Consent and Compensation Protocol for Agentic Web Access

概要

Summary

开放互联网长期以来维系着一项不成文的默契：网站允许爬虫抓取内容，而搜索引擎则通过搜索结果向网站引流访客。然而，公开的测量数据表明，随着 AI 爬虫和自动化智能体 (AI Agent) 的迅猛发展，这种默契正在迅速瓦解。诸如 robots.txt 这样的传统控制机制缺乏表达客户端身份、意图、访问条款或定价的能力，并且极易被绕过。

The traditional unwritten bargain of the open web—where websites welcomed crawlers in exchange for referral traffic—is breaking down due to the rapid growth of AI crawlers and automated agents. Traditional control mechanisms like robots.txt lack the ability to express identity, intent, terms, or pricing, and are easily bypassed.

本文提出了 terms.txt，这是一种类似于 robots.txt 风格的协议，专门用于定义基于特定路径与访问目的的机器访问条款。通过结合利用 Web Bot Auth 签名、签名意图、委托令牌、HTTP 402 付费协商以及签名收据的源站强制交互机制，该协议建立了一套强健的知情同意与付费补偿框架。一个轻量级、零依赖的参考实现展现了极高的运行效率，在单核 vCPU 上为每个请求仅增加了 0.20 至 0.65 毫秒的处理开销。

This paper introduces terms.txt, a robots.txt-style protocol designed for per-path and per-purpose machine-access terms. Combined with an origin-enforced exchange utilizing Web Bot Auth signatures, signed intent, delegation tokens, HTTP 402 negotiation, and signed receipts, the protocol establishes a robust framework for consent and compensation. A lightweight, dependency-free implementation demonstrates high efficiency, adding only 0.20 to 0.65 ms of overhead per request on a single vCPU.

文档元数据

Document Metadata

Metadata Field	Details
arXiv Identifier	arXiv:2609.11152 [cs.NI]
Title	terms.txt: A Consent and Compensation Protocol for Agentic Web Access
Author	Rajarshi Chowdhury
Submitted On	10 September 2026
Primary Subject	Networking and Internet Architecture (cs.NI)
Secondary Subjects	Artificial Intelligence (cs.AI), Cryptography and Security (cs.CR), Computers and Society (cs.CY)
ACM Classes	C.2.2; H.3.5; K.4.4
Target Publication	Submitted to IEEE Internet Computing, Special Issue on Future Internet Systems with LLMs and Agents
Resources & Code	Zenodo DOI (10.5281/zenodo.22647915)

摘要

Abstract

开放互联网过去依赖于一项不成文的默契运转：网站向爬虫开放访问，而搜索引擎向网站回流访客。然而公开测量表明，在 AI 爬虫与智能体席卷而来的当下，这一默契已然破裂。目前自动化客户端已经占据了绝大多数的网络请求，模型训练抓取在 Cloudflare 分类的爬虫流量中占据主导，而最大的 AI 平台每向网站回流一名访客，就需要先抓取数千个页面。网络上通用的控制标准 robots.txt 既无法表达访问者身份、抓取目的、使用条款或价格，又极易被规避绕过，而较新的替代方案大多是某些 CDN 厂商私有的专有功能。为此，我们规范制定了 terms.txt——一种采用 robots.txt 风格的文件格式，用于定义按路径、按目的的机器访问条款；同时搭配由源站强制执行的交互协议，综合运用 Web Bot Auth 签名、签名意图、委托令牌、HTTP 402 协商以及签名收据。我们明确界定了该交互机制可以强制执行、审计核查以及留待合同约定的范围。一个零依赖的参考实现表明，在单核 vCPU 上每个请求仅增加 0.20 到 0.65 毫秒的开销。

The open web ran on an unwritten bargain: sites admitted crawlers, and search engines sent visitors back. Public measurements show that bargain breaking under AI crawlers and agents. Automated clients now make up most requests, training dominates Cloudflare-classified crawling, and the largest AI platforms fetch thousands of pages for each visitor they return. The web's common control, robots.txt, cannot express identity, purpose, terms, or price, can be circumvented, and newer alternatives are largely proprietary CDN features. We specify terms.txt, a robots.txt-style file for per-path, per-purpose machine-access terms, plus an origin-enforced exchange using Web Bot Auth signatures, signed intent, delegation tokens, HTTP 402 negotiation, and signed receipts. We define what the exchange can enforce, audit, and leave to contract. A dependency-free implementation adds 0.20 to 0.65 ms per request on one vCPU.

获取与全文链接

Access & Full-Text Links

• 查看 PDF
• HTML 版本 (实验性)
• TeX 源码
• 数字对象唯一标识符 (DOI)

• View PDF
• HTML Version (Experimental)
• TeX Source
• Digital Object Identifier (DOI)