llms.txt 免费生成器
为整站或指定目录生成一份可直接审校的 llms.txt,免费且无需注册。
生成器抓取公开的站点地图与页面元数据,再由 AI 筛选并归组页面。所有 URL 均来自实际抓取;部署前请审校。
什么是 llms.txt?
llms.txt 是一份纯 Markdown 文件,为 AI 系统提供精选阅读地图:H1 写站点名称,引用行写一句摘要,随后按分节列出最重要的页面链接。它由 Answer.AI 于 2024 年 9 月提出,规范见 llmstxt.org;这个格式的全部前提是筛选,让 AI 一次读完一个小文件,而不是再造一份站点地图。规范已于 2026 年 8 月 10 日修订为 v2,本生成器按 v2 产出。
发布侧的采纳是真实的,但还没有主流 AI 厂商公开说明会读取第三方 llms.txt。Google Search 明确表示会忽略这类文件。因此应将它视为低成本基础设施,而不是排名杠杆。证据追踪见 llms.txt 词条,部署与验证见部署指南。
工作原理
- 抓取首页,读取站点名称、meta description 与语言。
- 通过 robots.txt 与站点地图发现页面;没有站点地图时,退回首页链接。
- 抓取排序靠前的页面以获取真实标题与描述,并剔除已失效的链接。
- AI 模型基于抓取数据起草文件:筛选最能说明这个站点的页面、命名分节,并用站点自身的语言撰写摘要与描述。AI 不可用时,改由确定性规则组装。
输出长什么样
以下是为一个虚构分析产品生成的草稿;你的结果遵循同样的结构,并使用你站点自身的语言:
# Northwind Analytics > Northwind Analytics is a self-hosted product-analytics server: event ingestion over HTTP, storage in ClickHouse, SQL and a query API. Self-hosted only; there is no managed cloud offering. ## Product - [What Northwind is](https://example.com/product): scope, and what it deliberately does not do - [Pricing](https://example.com/pricing): per-seat and per-event tiers ## Docs - [Quickstart](https://example.com/docs/quickstart): Docker Compose to first event in ten minutes - [Query API](https://example.com/docs/api): endpoints, auth, rate limits ## Optional - [Changelog](https://example.com/changelog): release history, safe to skip
它刻意不做的事
- AI 起草,但绝不虚构:模型只能按编号引用已抓取的页面,每个链接都来自实际抓取,凭空捏造的 URL 在结构上不可能出现;描述也以各页面自身的标题与元数据为据。
- 不执行 JavaScript 渲染:导航仅在客户端生成的站点,结果会偏薄。
- 不做隐藏处理:抓取在我们的服务器上进行,抓取到的页面元数据会交由大语言模型用于起草。
- 不替代你的审校:草稿已接近人工筛选的形态,但哪些页面应该让 AI 优先读,最终仍由你决定。
部署这份文件
- 放在它所覆盖的那个路径下,以纯文本返回:整站地图放 /llms.txt,只覆盖 /docs 的地图放 /docs/llms.txt。用 HTML 兜底响应的单页应用是最常见的部署失误。
- 主动声明它的位置,不要让 AI 代理去猜:v2 新增了 describedby 链接关系,可以在页面 head 中写
<link rel="describedby" href="/llms.txt">,或用等效的Link:响应头。 - 确认清单里每个链接都可访问,且 robots.txt 没有屏蔽该路径;完整验证清单与 CI 门禁见部署指南。
- 导航或关键页面变化后要重新生成;一份描述上季度站点结构的过期地图,比没有更糟。
常见问题
什么是 llms.txt?
一份纯 Markdown 文件,为 AI 系统提供精选地图:说明网站是什么、哪些页面最重要。它放在自己所覆盖范围的根部,可以是整个站点,也可以是其中一个子目录。标准的背景与现状见 llms.txt 词条。
llms.txt 和 robots.txt 是一回事吗?
不是。robots.txt 是访问策略,规定哪些爬虫可以抓哪些路径;llms.txt 是阅读地图,告诉 AI 应该优先读什么。二者互补,详见 robots.txt 词条与 AI 爬虫词条。
Google 会读 llms.txt 吗?
Google 已在文档中说明其 AI 功能不使用 llms.txt。其他平台没有明确表态;发布成本足够低,这正是仍值得部署的诚实理由,证据见 llms.txt 词条。
需要注册账号吗?
不需要:不登录每天也有 3 次免费额度。由于每次生成都会抓取一个网站并调用 AI 模型,使用量需要计量;用 Google 登录可以把额度提高到每天 10 次,且只存储邮箱、姓名与头像(详见隐私政策)。
生成的文件放在哪里?
放在它所覆盖路径的根部:整站地图放 /llms.txt,为 /docs 生成的地图放 /docs/llms.txt。当多份文件都适用时,AI 代理取最具体的那一份。部署方式、验证清单与更新时机,见 llms.txt 部署指南。
为什么结果里缺了一些页面?
抓取阶段最多考察站点地图前几份文件中的 96 个页面,AI 再从中筛选出最能代表站点的部分;llms.txt 本身就应是小而精的地图,而非完整索引。抓取时返回 404 的页面会被剔除。
可以只为某个子目录生成吗?
可以:输入带路径的地址(example.com/docs),地图就只覆盖该路径下的页面。v2 把这一点写明了,一份文件覆盖它所在路径之下的页面,多份都适用时取最具体的一份。只掌握某个子目录、拿不到域名根权限的人,走的就是这条路。
生成的文件符合规范吗?
结构上符合 v2:H1 站点名(规范唯一强制要求的元素)、引用行摘要与 H2 分节链接清单,均按 llmstxt.org 规范组装。超出容量的链接归入 Optional 一节,v2 已将其降级为「可跳过链接」的命名约定,不再是消费方必须遵守的处理契约。任何生成器都做不到的是替你的服务器发布文件、写入发现用的链接关系,或提供 Markdown 孪生页,部署环节仍需你自己完成。