进阶 预计耗时： 12 分钟
第 2 步，共 8 步
主要 AI 爬虫：GPTBot、ClaudeBot 与 PerplexityBot
仅凭厂商或产品名称，无法判断某个爬虫承担的职责和适用的访问策略。应将公开的标识、用途与服务器日志相互核对，再根据实际请求量及其潜在业务影响确定检查顺序，优先处理最重要的爬虫。
本步阅读
- GPTBot Wiki
- ClaudeBot Wiki · 即将上线
- PerplexityBot Wiki · 即将上线
自测
- 各爬虫的用户代理标识、公开用途、实际行为和停用机制分别是什么？
- 哪些爬虫同时用于模型训练和实时获取内容，这会怎样影响访问策略？
- 这三个爬虫中，哪些实际出现在当前的服务器日志中？