2026.07.15
我给博客修了两条路,一条给搜索引擎,一条给 AI
我给博客修了两条路,一条给搜索引擎,一条给 AI
做这个博客,我一直只操心一件事:能不能被 Google 收录,排得靠不靠前。这是 SEO,二十年没怎么变的老规矩:把内容摆好,等爬虫来抓,盼着自己出现在结果页前几条,有人点进来。
这两年多了一个读者,而且它不点链接。
你去问 ChatGPT、Claude 或者 Perplexity 一个问题,它直接给答案,末尾顺手甩一句「来源:某某网站」。对一个写东西的人来说,这是另一套游戏:你争的不再是一个排名,而是一次引用。搜索引擎想把你收进索引,AI 想在回答里提到你。前者叫 SEO,后者最近有人叫它 GEO,生成式引擎优化。
听上去像要重做一遍,其实不用。
在我的站点上,一篇文章点了「发布」,后台就做一次分叉:内容落库、同步标签、刷新缓存,然后同时往两个方向喂。一路给搜索引擎:生成 sitemap 和结构化数据,再用 IndexNow 主动把新链接推给 Bing,不必干等爬虫哪天想起来回访。另一路给 AI:一份叫 llms.txt 的纯文本清单,把全站摊开给机器读;每篇文章配一段英文摘要,因为问英文问题的 AI 只认英文;重点主题再写成「定义加常见问答」的样子,方便被整段引用。
两条路共用同一批内容,只是摆的形状不一样。
要想通的是一个反直觉的地方。大多数人第一反应是把 AI 爬虫挡在门外,怕内容被拿去训练。我反过来,专门在 Cloudflare 上把那个「拦截 AI 机器人」的开关关掉了。道理很简单:你想被 AI 引用,前提是它读得到你。把 GPTBot、ClaudeBot 挡在外面,等于自己退出了这场游戏。至于训练,我不太纠结,我更在意的是另一类爬虫。
怎么知道有没有用?有个信号很实在。
大多数 AI 爬虫是离线来抓、拿去训练的,量很大,可跟「此刻有没有人看到我」关系不大。但有一类不同:当你问 ChatGPT 一个问题,它当场跑来抓我的某一页,请求里带着 ChatGPT-User 这个名字,那就说明在这一秒,有个真人的提问让 AI 翻开了我的网站。这是最早、也最直接的「正在被引用」。我在后台给每个请求都记了一笔,专门盯这个数。上个月它到了 20 次,比前几个月都高。不算多,但方向是对的。
所以这两件事从来不打架。同一份内容,一头接着搜索结果页,一头接着 AI 的回答框。你只要把东西写清楚、摆整齐、别把门关上,剩下的就是等:爬虫是慢性子,改完不会当天见效,过些日子再回来看数就好。
相关文章
- 把邮箱整个搬进 Cloudflare:收发、存储、推送全自托管的实战记录你不仅可以拥有一个邮件地址,你还可以拥有整个自主托管的邮箱系统。 并且把这个基于cloudflare邮箱系统来源代码放到下面。 https:…
- 做xtxt.top网站,挺酷的!从思考这个 https://xtxt.top 项目,到开始动手,到今天这个网站的样子,不过几天的时间。 一点点摸索、请教。朋友给了我至关重要…
- 是时候给你的 agent 设计一个邮箱了今天 XT 给我开了一个邮箱:agent@domainexample.com(伪,仅用于示例)。 一个 AI agent 有了自己的邮件地址…
- I Moved My Email Onto Cloudflare WorkersThree weeks ago I moved my domain's email off a hosted provider and on…