什么是 llms.txt

llms.txt(LLM Web Content Accessibility Guidelines)是一套让网站向大语言模型爬虫描述自己的标准格式。类似于:

  • robots.txt:告诉爬虫哪些页面可以抓、哪些不能抓
  • sitemap.xml:告诉爬虫网站有哪些页面
  • llms.txt:告诉 AI 网站的身份、主题、重点内容

llms.txt 的标准结构

段落内容示例
站点身份网站名称、定位、主体"铭赞智库 · GEO 研究,归属西安铭赞信息技术有限公司"
内容领域主要知识主题"覆盖 GEO 方法论、AI 搜索 FAQ、行业调研报告"
品牌实体公司名称、关键实体信息"西安铭赞信息技术有限公司 / 铭赞网络 / 铭赞智库"
重要链接最重要的栏目或内容 URL"https://www.xaan.cn/methodology/"
内容规范注明内容类型和边界"本站为研究内容,不承接服务,服务请跳转 mzad.cn"

llms.txt vs llms-full.txt

  • llms.txt(精简版):100-200 字的网站概述,放在根目录,是所有 AI 爬虫首先会读取的文件
  • llms-full.txt(完整版):扩展版本,包含完整内容索引、实体信息、内容规范等,适合需要更详细理解的 AI

编写 llms.txt 的关键原则

原则一:明确告诉 AI 你是谁

不要只写网站域名。要写明品牌全称、业务定位、归属主体。这有助于 AI 将你的网站内容正确归到你的品牌实体下。

原则二:结构化表达

使用清晰的 Markdown 标题和列表,而不是一大段纯文本。AI 更容易识别和解析结构化内容。

原则三:与其他站点的边界要清楚

如果你的品牌有多个域名,在 llms.txt 中明确各域名的定位分工。这能避免 AI 混淆不同站点的实体归属。

常见错误

  • ❌ 没写 llms.txt:AI 只能自己探索和推断网站定位
  • ❌ llms.txt 内容就是首页 meta description 复制粘贴:太简略,没有实体信息
  • ❌ 用 HTML 或富文本格式:llms.txt 应该是纯文本或 Markdown
  • ✅ 根目录同时放置 llms.txt 和 llms-full.txt