GPTBot

1. GPTBot 是什么

GPTBot 是 OpenAI 用来收集公开可抓取内容的爬虫，OpenAI 可能用这些内容训练其基础模型。OpenAI 对它的用途说明很直接：它「用于抓取可能被用于训练我们生成式 AI 基础模型的内容」（见 Overview of OpenAI Crawlers）。

抓取时间由 OpenAI 安排，内容只用于训练。GPTBot 不回答任何提问，也不参与任何实时应答。

关于 GPTBot 的争议，关键在于：一次抓取不会直接带来引用、链接或曝光，只可能通过训练影响模型权重。即使产生了影响，也无法追溯到你的具体内容，在几个月内难以观察到，更不会出现在任何报表中。是否放行 GPTBot，真正要权衡的是这项无法观察的潜在收益。

在 OpenAI 的这组程序中，GPTBot 只负责训练；另外两个分别是建立搜索索引的 OAI-SearchBot，以及代表用户实时取页的 ChatGPT-User。这四个令牌同属 OpenAI。不同令牌被屏蔽后，后果为何完全不同，详见 AI 爬虫。

GPTBot 于 2023 年 8 月上线，在主流训练爬虫中率先公开专用令牌，并允许站点直接退出。这个时间点也解释了它为何最常被列为屏蔽对象：此后，几乎每一份「屏蔽 AI」教程都会提到 GPTBot，其中相当一部分选错了对象。

2. 在日志里辨认 GPTBot

OpenAI 公布的用户代理字符串：

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

规则只匹配 GPTBot 这个名字，不要带版本号。OpenAI 将这条字符串标为示例，并说明版本号可能变化。版本号也确实变过：GPTBot/1.2 早已过时，却仍被大量博客和规则模板沿用。规则一旦写死版本号，版本更新后就会失效。

文档里还有一个容易忽略的细节，可以帮助确认策略调整是否生效。OpenAI 写道：「抓取 robots.txt 文件时，我们可能会在用户代理字符串中加入一个 robots.txt 标记，帮助站点所有者把这类请求与其他资源的请求区分开。」由于具体文本没有公布，这个标记只能作为观察线索，不能直接用于字符串匹配。如果日志中出现 /robots.txt 请求，来源又是已确认的 GPTBot 地址，就能确认新指令已经被读取。

OpenAI 公布了 GPTBot 使用的地址段，可以直接查阅核实。下表数据取自 OpenAI 的公开端点，获取时间为 2026 年 7 月 28 日；各网段的重叠情况已经逐一比对：

令牌	公布的 IP 文件	网段数	文件生成时间	重叠情况
GPTBot	gptbot.json	21	2025-10-30	与 OAI-SearchBot 共用 6 段
OAI-SearchBot	searchbot.json	35	2026-01-02	与 GPTBot 共用 6 段
ChatGPT-User	chatgpt-user.json	286	2026-07-23	与两者均无重叠

从表中可以确认两点。GPTBot 公布的地址段不多，其中 6 个网段与搜索爬虫共用，与用户触发的取页程序没有任何重叠。GPTBot 地址文件的更新频率也较低：截至该日期，它已有大约九个月没有重新生成，ChatGPT-User 的文件则在五天前刚刚生成。这只能说明文件更新频率不同，不能用来推断抓取量。

OpenAI 文档解释了这种重叠：「如果你的站点同时放行了这两个程序，我们可能只用一次抓取的结果来同时服务两个用途，以避免重复抓取。」地址数据印证了这项说明，但公开证据也只到这里。它们不能说明屏蔽 GPTBot 会增加 OAI-SearchBot 的请求量，也不能证明同时放行两者就能减轻服务器负担；这两种说法都没有公开依据。

核验时既要检查 IP，也要按 AI 爬虫 中的方法完成前向确认反向解析（forward-confirmed reverse DNS）。日志里只有 GPTBot 这串字符，还不足以证明对方身份。正因为 GPTBot 最知名，它也成了同类程序中被冒用最多的令牌。需要用 grep 检查日志中的哪些字段，以及如何确认真正到达服务器的程序，见 AI 爬虫访问审计。

3. robots.txt 退出机制及其局限

OpenAI 文档明确说明 GPTBot 会遵守 robots.txt。开头就写道：「OpenAI 使用 OAI-SearchBot 和 GPTBot 的 robots.txt 标签，让站长管理自己的站点和内容如何与 AI 交互。」文档还直接说明了 Disallow 的效果：「对 GPTBot 设置 Disallow，表示该站点的内容不应被用于训练生成式 AI 基础模型。」

ChatGPT-User 的规则因「用户发起」的例外而复杂得多；GPTBot 按计划抓取，不受这项例外影响。

最小指令：

User-agent: GPTBot
Disallow: /

也可以按路径设置，排除一个目录同时保留其中一部分公开内容：

User-agent: GPTBot
Disallow: /members/
Allow: /members/public-report/

在这个例子中，更长、更具体的 Allow 优先生效。分组合并、路径优先级、是否区分大小写和 host 适用范围都遵循 robots.txt 的通用规则。究竟会放行或屏蔽哪些路径，要靠实测确认，不能只凭经验判断。

规则不会立即生效。OpenAI 提到的约 24 小时，适用范围比通常转述的更窄。原话是：「就搜索结果而言，请注意从站点更新 robots.txt 到我们的系统作出调整，可能需要约 24 小时。」这里明确说的是搜索结果。OpenAI 没有公布训练抓取多久会响应新指令，因此现有文档无法确定 GPTBot 规则的生效时间。

robots.txt 在这里有三处局限：

1. 不能追溯。Disallow 只对之后的抓取生效，无法移除已经用于模型训练的内容，OpenAI 也没有公布任何能做到这一点的机制（见 §6）。
2. 不是强制手段。RFC 9309 写明其规则「并不构成一种访问授权」，协议本身也「不能替代有效的内容安全措施」。真正要阻止内容被读取，需要使用访问控制，不能只靠一份文本文件。
3. 无法控制第三方语料。对 GPTBot 设置 Disallow，只能约束 OpenAI 自己的爬虫。如果内容已经进入第三方网络语料库，模型开发方仍可取用。GPTBot 的规则无法约束这部分内容，也无法约束其他机构运营的爬虫。

至于 llms.txt，没有任何文档说明它能用来表达训练授权，发布一份也不会改变 GPTBot 的行为。

4. 屏蔽 GPTBot 会发生什么，不会发生什么

屏蔽 GPTBot 不会让你从 ChatGPT 中消失。实时答案依靠 OAI-SearchBot 和 ChatGPT-User：前者建立搜索索引，后者在用户的问题涉及该页面时实时取页。这两项任务都与 GPTBot 无关。站点完全可以屏蔽 GPTBot，同时继续在 ChatGPT 中被引用。

另一种错误很少被提及，损失却更直接：有人为了「不让 AI 拿走我的内容」而对 OAI-SearchBot 设置 Disallow。这样既会立即失去被引用的机会，又没有阻止训练抓取，因为训练由另一个令牌控制。

做法	背后的想法	实际结果
屏蔽 GPTBot 以退出 ChatGPT	「它是 OpenAI 的爬虫」	对 ChatGPT 搜索和实时答案毫无影响，这两项功能分别由 OAI-SearchBot 和 ChatGPT-User 负责
屏蔽 GPTBot 以撤回过去的训练	「既然退出，过去的数据也该撤回」	只对之后的抓取生效，此前已经用于模型训练的内容不受影响
对所有 AI 程序一律 Disallow: /	「保护内容」	阻止训练的同时也阻止了引用；屏蔽这两类爬虫造成的后果完全不同
放行 GPTBot，期待带来更多引用	「内容进入模型就会获益」	没有任何已发表证据支持引用会因此增加（见 §5）
把 Disallow 当作权利声明	「我已经保留了权利」	它只是一份由对方自愿遵守的请求，既不是法律文书，本身也没有强制力

区分训练与检索，也关系到如何处理 Anthropic 的训练爬虫 ClaudeBot。Google-Extended 能实现相近的训练控制效果，但方式完全不同：它只是一个控制令牌，背后既没有爬虫，也没有自己的用户代理字符串。PerplexityBot 则属于检索类爬虫，需要做的是另一类决策。

5. 放行它对 GEO 有回报吗

前面提到的检索爬虫会在答案里留下可观察的引用结果，GPTBot 却不会。

人们经常把两种机制混在一起。分清两者，多数争议也就清楚了：

机制	产生的结果	相关程序	能否测量
检索采信（retrieval grounding）	实时答案中一次带出处的引用	OAI-SearchBot、ChatGPT-User	能，可以逐条追踪
参数化记忆（parametric recall）	模型形成对相关实体的先验印象，不带任何出处	GPTBot，以及其他语料来源	不能，无法归因

参数化记忆确实存在。模型在训练中接触的内容可能影响它对某个实体的判断。这与不带链接的品牌提及效果相似：即使没有链接，也可能帮助模型识别相关实体。

模型可能受训练内容影响，但这不等于放行 GPTBot 的效果已经得到验证。问题不只是尚未有人研究，现有研究方法本身也有根本限制。知识归因研究的结论很明确：语言模型「往往并不知道这些知识的来源」。只有让模型在训练时记录知识来源，之后才能把输出追溯到提供相关知识的文档；训练完成后再分析无法做到这一点（见 Khalifa 等，2024）。要证明放行 GPTBot 能带来回报，恰好需要这种归因能力，而常规训练的模型并不具备。

现有证据能支持的结论是：没有任何已发表研究以「站点是否放行 GPTBot」为唯一变量，并据此证明放行能增加引用或提及。现有方法也无法进行这类对照：你无法为一次训练安排 A/B 测试，无法观察自己的内容如何影响模型权重，也无法把一次无来源的提及追溯到某一次抓取。

收益无法测量，并不表示直接屏蔽更划算。放行 GPTBot 的代价往往很分散：占用一些带宽，也可能让站点失去一次授权谈判机会。但站点因担忧而仓促决定时，往往会扩大屏蔽范围，一次改动中常常也会屏蔽检索爬虫，后果具体而且立即可见。因此，多数错误操作造成的实际损失来自检索爬虫被连带屏蔽，而不是 GPTBot 本身。

很多出版方屏蔽 GPTBot，并不是出于 GEO 考量，而是在权衡内容授权的谈判筹码、版权政策、法律立场和基础设施成本。这些理由都有充分依据，很多时候也更有分量，不能用可见性标准来衡量。只看可见性，能下的结论要窄得多：不应根据预期的引用收益来做这个决定。不能指望放行会增加引用，也不必担心屏蔽会减少引用，因为这种收益从未得到证实。可以实际评估的可见性问题都在检索环节，见生成式引擎优化。

6. 围绕这个爬虫出现的补充机制

GPTBot 一直处在「出版方是否应该获得报酬」这场讨论的中心。是否放行，也需要结合这层背景来判断。

Media Manager 始终没有上线。2024 年 5 月 7 日，OpenAI 宣布了一个工具，让创作者标明自己的作品，并指定是否将其纳入 AI 训练。当时的目标是在 2025 年前推出该工具（见 TechCrunch）。期限已过，工具仍未出现（见 TechCrunch，2025 年 1 月 1 日）；至今 OpenAI 也没有宣布任何上线消息。因此，截至目前，robots.txt 仍然是唯一真正可用的退出机制。

另一个选择是内容授权谈判。OpenAI 已经与相当数量的出版方签订内容授权协议。这是令牌控制之外的另一种实际可行方式，但绝大多数站点没有足够的规模参与谈判。对协议之外的站点来说，§3 所列指令仍是目前唯一可用的工具。

网络层控制也在迅速变化。robots.txt 只能提出请求，Cloudflare 的默认设置则可以直接拦截访问。一项新规则将于 2026 年 9 月 15 日生效：「在展示广告的页面上，训练类和 agent 类将默认屏蔽，搜索类仍然默认放行」（见 Cloudflare）。GPTBot 是单一用途的训练爬虫，按这套分类会被默认屏蔽，没有多用途爬虫那样的分类争议。这项默认设置适用于新接入的域名，已有客户可以在此之前设定自己的偏好。Cloudflare 还提供托管的 robots.txt，代站点写入 AI 训练相关指令（见 Cloudflare，2025 年 7 月 1 日）。

整体趋势已经很清楚：对 GPTBot 的控制正从一份自愿遵守的文本文件，逐渐转向网络层拦截和合同安排。

7. 站点屏蔽比例与 GPTBot 抓取量

解读这里的任何比例，都要先看分母。GPTBot 的统计数据在这个领域被大量引用，也经常遭到误读。如果一组数据只统计精选的主流新闻站点，另一组广泛抽样普通域名，那么对同一个爬虫得出的数字可以相差数倍；只要按各自的样本口径理解，两组数字都成立。

下表能直观看出这种差距：

来源与时间	样本口径	统计结果
Reuters Institute，2023 年底	10 个国家，每个国家 15 家最常用新闻站点	48% 屏蔽了 OpenAI 的爬虫；美国为 79%，墨西哥和波兰均为 20%
Cloudflare，2025 年 7 月 1 日	头部域名中现有的 robots.txt 文件	7.8% 对 GPTBot 设置了 Disallow

两者并不矛盾，因为回答的是不同问题。Cloudflare 的另一项数据可以解释这种差异：头部一万个域名中，只有约 37% 有 robots.txt 文件。网络上的大多数站点根本没有就此表态。因此，看到「X% 的网站屏蔽了 GPTBot」这类说法时，如果没有说明分母，这个数字就没有意义。

不同来源都显示出同一趋势：从 GPTBot 2023 年 8 月上线到 2025 年，屏蔽比例大幅上升，但这种上升主要见于大型出版方，并未普遍出现在各类站点中。

再看抓取量，最好采用口径清晰的数据。整个 2025 年，在 Cloudflare 网络上，GPTBot 约占已核验爬虫流量的 7.5%，而 Googlebot 超过 28%（见 Cloudflare Radar 2025 年度回顾）。按用途看，训练类抓取始终占比最高：在 2025 年 7 月的一个观测窗口中，训练接近 AI 爬虫抓取量的 80%（见 Cloudflare）。同期，用户触发类抓取虽然起点很低，也增长了二十倍以上。

使用这些数据时要注意两点。第一，2025 年的数据只代表当时的情况：2026 年各家程序的月度排名多次变化，其他厂商的爬虫也曾在不同月份领先。因此，「GPTBot 是最大的 AI 爬虫」不符合当前数据；即使在上文引用的 Cloudflare 网络数据中，它也从来不是最大的。第二，第三方追踪机构给出的单个程序月度排名需要谨慎对待：各家数据彼此不一致，样本口径不公开；即使相应月份已经过去很久，这些数字仍常被反复引用。

8. 如何选择策略

想达到的目的	配置方式	代价
保持可被引用，同时拒绝训练	对 GPTBot 设 Disallow，放行 OAI-SearchBot 和 ChatGPT-User	引用不会受到影响；可能放弃参数化记忆带来的收益，但这项收益尚无法测量
同时允许训练与引用	不对 GPTBot 设 Disallow	OpenAI 会继续按其说明将内容用于训练
保留授权谈判空间	对 GPTBot 设 Disallow，同时配合网络层控制与合同	单靠 robots.txt 只是一份请求，不能据此主张已经保留权利
按路径区分	对 GPTBot 在某个子树下设 Disallow，放行其中一部分公开内容	需要实测哪些路径最终会被放行或屏蔽，方法见 robots.txt
彻底退出 AI 答案	这涉及检索侧令牌，需要单独决定，与 GPTBot 无关	引用会立即且彻底消失，判断依据见 AI 爬虫

落实这项决策时，不能只修改文件，还要留下完整的策略记录：希望达到的目的、负责人、涉及哪些主机与协议、采用什么指令、上线日期，以及下次复核日期。如何核实源站返回了什么、实际到达服务器的是哪个程序，见 AI 爬虫访问审计。

还应事先确定复核日期。令牌本身从 2023 年至今很稳定，相关环境却持续变化：原定于 2025 年推出的退出工具始终没有上线，一项 CDN 默认设置将在 2026 年 9 月改变，授权方式在两年内也发生了两次变化。如果做出决定后从不复核，继续沿用的将是一套在过时环境下制定的策略。

9. 相关条目

• AI 爬虫：三分类模型，以及如何根据类别决定放行还是屏蔽
• OAI-SearchBot：OpenAI 的搜索索引程序，负责搜索收录
• ChatGPT-User：OpenAI 代表用户实时取页的程序，以及 robots.txt 为何未必约束它
• ClaudeBot：Anthropic 的训练爬虫，说明同类决策换到另一家厂商时该怎么做
• Google-Extended：一种没有爬虫、只有控制令牌的训练管控方式
• PerplexityBot：检索类爬虫的对比案例
• robots.txt：协议本身，以及指令的解析方式
• llms.txt：它是什么，以及它控制不了什么
• OpenAI：这四个令牌背后的运营方
• 品牌提及：品牌提及如何帮助模型形成参数化记忆所需的实体先验
• 生成式引擎优化：检索环节有哪些可以衡量的可见性问题
• AI 爬虫访问审计：核验真正到达服务器的是谁
• ChatGPT 搜索：GPTBot 并不参与的搜索功能

参考资料

Primary

• OpenAI — Overview of OpenAI Crawlers
• OpenAI — GPTBot published IP ranges · OAI-SearchBot ranges · ChatGPT-User ranges
• IETF — RFC 9309: Robots Exclusion Protocol
• Cloudflare — Your site, your rules: new AI traffic options for all customers（2026 年 7 月 1 日）
• Cloudflare — Control content use for AI training with managed robots.txt（2025 年 7 月 1 日）
• Khalifa、Wadden、Strubell、Lee、Wang、Beltagy、Peng — Source-Aware Training Enables Knowledge Attribution in Language Models（2024 年 4 月）
• Reuters Institute — How many news websites block AI crawlers?

Secondary

• Cloudflare — The 2025 Cloudflare Radar Year in Review
• Cloudflare — A deeper look at AI crawlers: traffic by purpose and industry（2025 年 8 月 28 日）
• TechCrunch — OpenAI says it’s building a tool to let content creators opt out of AI training（2024 年 5 月 7 日）
• TechCrunch — OpenAI failed to deliver the opt-out tool it promised by 2025（2025 年 1 月 1 日）