首页 文章 精选 留言 我的

精选列表

搜索[geo],共2396篇文章
优秀的个人博客,低调大师

GEO怎么做:网页 .md 直出的工程实现:让 LLM 低成本消费你的文档

# 网页 .md 直出的工程实现:让 LLM 低成本消费你的文档 一个实际的问题:你的文档站/官网,LLM 读起来成本有多高? 拿一个典型的 HTML 页面算笔账:100KB 的页面里,正文可能只有 15KB,其余是导航、样式、脚本、推荐位、埋点。LLM 处理这个页面要先"去壳"(HTML→文本抽取),抽取质量还不稳定——表格经常被拍扁、代码块经常混入 UI 文字。 **.md 直出**就是解决这个问题的:每个页面提供一个同路径的纯 Markdown 版本,模型直接消费,零抽取损耗。这是海外 AI-native 文档站的标配做法(不少开源项目和大厂文档已全面跟进),国内落地的还很少。这篇讲完整的工程实现。 ## 一、目标形态 ``` https://example.com/pricing/ → HTML(给人看) https://example.com/pricing/index.md → Markdown(给模型读) ``` 配套两件事: 1. HTML 页 head 里声明替代版本: ```html ``` 2. 站点根目录的 llms.txt(内容地图)里,所有链接直接指向 .md 版本 ## 二、实现方案 ### 方案 A:静态站点——构建时双输出 Hugo/Astro/Jekyll 等原生支持多格式输出,以 Hugo 为例: ```toml # hugo.toml [outputs] page = ["html", "markdown"] [mediaTypes] [mediaTypes."text/markdown"] suffixes = ["md"] [outputFormats] [outputFormats.markdown] mediaType = "text/markdown" baseName = "index" ``` Astro 用 content collections 的话,源文件本来就是 .md,加一个 passthrough 路由原样输出即可: ```js // src/pages/[...slug].md.js export function getStaticPaths() { /* 返回所有内容路径 */ } export async function GET({ params }) { const entry = await getEntry(params.slug); return new Response(entry.body, { headers: { "Content-Type": "text/markdown; charset=utf-8" } }); } ``` ### 方案 B:动态站点——预渲染 + 缓存 思路:构建流水线里对每个核心页跑一次 HTML→Markdown 转换,产物存对象存储/本地缓存,服务端按路径分发。 转换工具链选择: ```bash # Node 系:turndown(可定制规则,保留表格需加 turndown-plugin-gfm) # Python 系:markdownify / html2text # 通用:pandoc(质量最稳,但重) npx -y turndown-cli --gfm page.html -o page.md ``` nginx 分发配置: ```nginx location ~ ^(.*)\.md$ { alias /var/www/md-cache$1.md; default_type text/markdown; add_header Content-Type "text/markdown; charset=utf-8"; # 缓存策略:和 HTML 版本同周期失效 expires 1h; } ``` 关键纪律:**Markdown 版本必须和 HTML 版本同源生成**——从同一份内容数据(CMS 字段/MDX 源文件)分别渲染两种格式。如果是"HTML 上线后再反向抽取成 MD",两个版本会漂移,给 AI 的和给人看的不一致,交叉验证时反受其害。 ### 方案 C:全站聚合版 llms-full.txt 对核心事实页(FAQ/定价/关于/产品说明),额外生成一份全文聚合文件: ```bash # 构建脚本里追加一步:把核心页的 md 拼接 cat content/about.md content/faq.md content/pricing.md \ > public/llms-full.txt ``` 价值:深度抓取型消费方(Agent、研究型检索)一次请求拿到全部核心事实,不用逐页爬。控制在 200KB 以内(约 5 万 token),超了就按板块拆分。 ## 三、质量校验:转换不是无损的 HTML→Markdown 的自动转换有固定的坑,上线前跑一遍校验: ```python #!/usr/bin/env python3 """md 直出质量校验:表格/代码块/标题层级完整性检查""" import sys, re def check(md_text, name): issues = [] # 表格:HTML 转换常把表格拍扁成一行文字 if "]*>", md_text) if leftover: issues.append(f"残留 HTML 标签: {set(leftover)}") print(f"{'✅' if not issues else '❌'} {name}: {'; '.join(issues) or 'OK'}") for path in sys.argv[1:]: check(open(path, encoding="utf-8").read(), path) ``` 人工再抽查两类页面:带复杂表格的(定价页)、带代码块的(文档页)——这两类是转换质量的重灾区。 ## 四、验证消费效果 ```bash # 1. 模拟 AI 爬虫请求,确认返回类型正确 curl -sI -A "GPTBot" https://example.com/pricing/index.md | grep -i content-type # 期望: text/markdown # 2. 实测消费质量:把 .md URL 丢给支持联网的 AI # 问"总结这个页面",对比总结与原文的一致性 # 3. 日志观察:.md 路径的 AI 爬虫访问量 grep "\.md" /var/log/nginx/access.log | grep -cE "GPTBot|ClaudeBot|Bytespider" ``` 第 3 项做成周报趋势:llms.txt 里 .md 链接的访问量应该在部署后 2-4 周爬升——没动静就回头查 robots 放行和 llms.txt 发现机制。 ## 总结 .md 直出的本质是把"内容消费"从渲染态回退到源数据态——人消费渲染态(HTML),模型消费源数据态(Markdown)。工程量不大:静态站一天,动态站两三天,核心纪律只有一条:**两种格式同源生成,永不漂移。** 做完这一步,加上 robots 放行和 llms.txt 导览,你的站点对 AI 的可读性就齐了:进得来、找得到、读得懂。 --- *本文基于Winin(winin.ai)。各家 AI 爬虫对 .md 版本的实际消费行为不透明且持续演进,建议部署后用访问日志和实测验证。欢迎评论区交流你的实现方案。*

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码