llms.txt ：让 AI 更好读懂你的网站
在这个 AI 技术迭代如潮、大模型层出不穷的时代，网站正从传统的人类信息载体，逐步演变成大语言模型 （ LLM ） 的重要数据源。然而，各种网站中复杂的 HTML 嵌套结构与广告内容，又可能让 LLM 的数据采集面临以下挑战： 上下文窗口限制：大模型无法处理完整网站信息； 内容冗余：导航、广告、JavaScript 等干扰信息过多； 转换难度：HTML 转换为纯文本耗时且欠精确。 ... 为了更好解决上述问题，将重要的网站信息集中并结构化，llms.txt 应运而生。 什么是 llms.txt ？ 简言之，llms.txt 是一个优化网站内容与 LLM 适配的暂拟标准，以托管在网站根目录下的纯 Markdown 文件（路径为 /llms.txt ），轻量化汇总网站的重要信息，不含 HTML 杂码、JavaScript 脚本或广告干扰。 该标准包含两个核心文件： /llms.txt ：为 LLM 提供网站文档的精简导航视图 /llms-full.txt ：包含完整的文档内容 该标准可以在 https://llmstxt.org/ 查看 llms.txt 最初是由 Answer.AI 的联...
