llms.txt 免费生成器
为整个网站或指定目录生成一份可供审核的 llms.txt,无需注册即可免费使用。
生成器会读取公开的网站地图和页面信息,再由 AI 选择并整理最有用的页面。所有 URL 都来自实际抓取,发布前请仔细审核。
什么是 llms.txt?
llms.txt 是一份纯 Markdown 文件,为 AI 系统提供经过筛选的网站阅读指南。文件通常包含一个 H1 网站名称、一段简短摘要,以及按主题整理的重要页面链接。Answer.AI 于 2024 年 9 月提出这一格式,规范发布在 llmstxt.org。它强调精简和取舍,并不是网站地图的副本。本生成器遵循 2026 年 8 月 10 日发布的 v2 规范。
已经有一些网站开始发布 llms.txt,但目前没有主流 AI 厂商明确说明会读取第三方文件。Google Search 表示其 AI 功能不会使用 llms.txt。因此,更适合把它看作成本较低的导航辅助,而不是排名信号。相关证据见 llms.txt 词条,部署和验证方法见部署指南。
工作原理
- 读取首页,识别网站名称、描述和语言。
- 通过 robots.txt 和网站地图发现页面;如果没有网站地图,则使用首页上的链接。
- 抓取选中的页面,确认标题和描述,并移除已经失效的链接。
- 使用 AI 选择有用页面、整理分节,并用网站自身的语言撰写摘要和描述。如果 AI 起草暂时不可用,则使用预设规则组装文件。
输出示例
以下示例使用一个虚构的分析产品。你的结果会采用相同结构,并使用网站自身的语言:
# Northwind Analytics > Northwind Analytics 是一款自托管的产品分析平台,支持通过 HTTP 接收事件、使用 ClickHouse 存储数据,并提供 SQL 查询和查询 API。目前不提供托管云服务。 ## 产品 - [产品概览](https://example.com/product):功能、架构与使用限制 - [价格](https://example.com/pricing):按席位和事件量计费 ## 文档 - [快速开始](https://example.com/docs/quickstart):用 Docker Compose 在十分钟内发送第一条事件 - [查询 API](https://example.com/docs/api):接口、身份验证与速率限制 ## 可选阅读 - [更新日志](https://example.com/changelog):版本发布记录
使用草稿前需要了解
- 所有链接都来自实际抓取。AI 只能按编号选择已发现的页面,并根据页面标题和描述撰写说明,不会自行添加新的 URL。
- 抓取过程不执行 JavaScript。只有在客户端渲染后才显示导航的网站,生成结果可能不完整。
- 抓取在我们的服务器上进行,收集到的页面信息会交给大语言模型用于起草文件。
- 生成结果只是起点,不能替代人工审核。哪些页面最能说明你的网站、应该让读者先看什么,仍需由你决定。
部署这份文件
- 把文件放在所覆盖的路径下,并以纯文本返回:整站文件放在 /llms.txt,只覆盖 /docs 的文件放在 /docs/llms.txt。请确认该地址不会返回 HTML 兜底页面。
- 主动声明文件位置,避免 AI 系统自行猜测。v2 新增了 describedby 链接关系,可以在页面 head 中加入
<link rel="describedby" href="/llms.txt">,或使用等效的Link:响应头。 - 确认文件中的每个链接都能访问,并且 robots.txt 没有屏蔽对应路径。完整验证清单和 CI 检查见部署指南。
- 网站导航或重要页面发生变化后,请重新生成文件。过期的阅读指南可能把读者带到错误内容。
常见问题
什么是 llms.txt?
它是一份纯 Markdown 文件,用来告诉 AI 系统网站是什么、哪些页面最重要。文件放在所覆盖路径的根目录,可以覆盖整个网站,也可以只覆盖某个子目录。标准背景和采用情况见 llms.txt 词条。
llms.txt 和 robots.txt 是一回事吗?
不是。robots.txt 规定哪些爬虫可以抓取哪些路径;llms.txt 则是一份精选阅读指南,帮助 AI 系统了解可以优先读取哪些页面。两者用途不同,详见 robots.txt 词条和 AI 爬虫词条。
Google 会读 llms.txt 吗?
Google 已在文档中说明,其 AI 功能不会使用 llms.txt。其他主流平台尚未明确说明是否支持。发布这份文件的成本较低,但不应把它当作排名信号。现有证据见 llms.txt 词条。
需要注册账号吗?
不需要。不登录每天可以免费生成 3 次,使用 Google 登录后可提高到每天 10 次。登录仅保存邮箱、姓名和头像,详情见隐私政策。
生成的文件放在哪里?
放在所覆盖路径的根目录。整站文件放在 /llms.txt,只覆盖 /docs 的文件放在 /docs/llms.txt。如果多份文件都适用,AI 系统会使用路径最具体的一份。部署、验证和更新方法见 llms.txt 部署指南。
为什么结果里缺了一些页面?
抓取阶段最多会查看前几份网站地图中的 96 个页面,然后从中选择最能代表网站的内容。llms.txt 应该保持精简,不是完整索引。抓取时返回 404 的页面会被移除。
可以只为某个子目录生成吗?
可以。输入带路径的地址,例如 example.com/docs,文件就只包含该路径下的页面。按照 v2 规范,一份文件覆盖它所在的路径;如果多份文件同时适用,AI 系统会使用路径最具体的一份。
生成的文件符合规范吗?
文件结构遵循 llmstxt.org v2 规范:包含 H1 网站名称、引用格式的摘要,以及按 H2 分节的链接列表。其他链接可能放在 Optional 一节。你仍需自行发布文件、添加发现链接,并根据需要为页面提供 Markdown 版本。