当海外买家在 AI 助手里问「谁能做某类产品」时,答案来自模型能读到并愿意引用的公开内容。对独立站来说,这意味着一件事:页面不只要能被人和传统搜索引擎看到,还要能被生成式引擎顺利抓取、准确理解。
下面按「三件事分层 → llms.txt 写法 → robots 配置 → 值得写入的事实型内容 → 常见错误」的顺序说明。
一、先分清三件不同的事
- 能不能抓:由 robots.txt 决定,控制各类爬虫的访问范围;
- 先读什么:由 /llms.txt 这类说明文件承担,用简短的 Markdown 告诉 AI「站点的核心事实与主要页面在哪里」;
- 值不值得引用:由页面内容本身决定,规格、流程、参数这类可核实的信息更容易被引用。
三者缺一不可。只放开抓取、页面全是营销口号,AI 引用时无据可依;内容写得扎实但 robots 把爬虫挡住,则连被抓取的机会都没有。
二、llms.txt 写在哪里、写什么
llms.txt 是一个放在站点根目录的纯文本文件,地址形如 https://你的域名/llms.txt,内容使用 Markdown 格式。它不替代 sitemap,而是给 AI 一份「精简说明书」。常见的结构如下:
- 一级标题写主体名称,并附上企业全称;
- 引用块写一句话定位,说明这家公司做什么、服务谁;
- 关键事实列表:英文名、地址、邮箱、电话、备案号,以及产品授权方式、交付方式这类容易被反复问到的信息;
- 产品与主要页面链接:每个产品一行,冒号后接一句话说明;
- 内容目录:把资讯或文档按篇列出,方便 AI 定位长文。
需要提醒的是,llms.txt 目前属于约定性质的说明文件,主流生成式引擎是否读取、读取到什么程度由各家自行决定。它的价值在于把站点信息整理成机器容易解析的形式,因此写法要克制:用陈述句写事实,不要写宣传语。
三、robots.txt 里 AI 爬虫的配置
要让生成式引擎有机会读到内容,需要在 robots.txt 中显式允许常见 AI 爬虫,例如 GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended、Bytespider、Applebot-Extended、DeepSeekBot 等。典型写法是为每类爬虫单独声明一段,按「先声明爬虫、再开放路径」两行的形式书写,例如允许 GPTBot 抓取全站时写 User-agent: GPTBot 与 Allow: /。
配置时有两点容易出错:
- 只放开公开内容:后台目录、接口路径、上传目录与统计脚本应显式拒绝,避免 AI 爬到无意义的页面;
- 不要全站拒绝后再期待被引用:有些站点为了防采集全站 Disallow,同时又希望被 AI 推荐,这两件事在逻辑上是冲突的。
四、值得让 AI 读到的事实型内容块
生成式引擎倾向引用可核实、可复述的信息。以下几类内容块值得优先补齐:
- 规格与参数表:带单位的参数比形容词有用。写「DN50、10 m³/h、IP65」,而不是「性能出色」;
- 流程与步骤:安装、部署、下单、售后的分步说明,天然适合被整段引用;
- 认证与合规信息:写明标准编号与适用范围,并注明以实际证书为准;
- 交付与授权方式:源码交付、代码无加密、可二次开发这类描述要具体到「怎么交付、能改什么」;
- 实体信息:公司全称、地址、联系方式,帮助 AI 判断这是真实经营主体。
五、常见配置错误
- 把 llms.txt 写成营销口号:通篇形容词,AI 无法从中提取可核实的事实;
- 链接使用相对路径或已失效的地址:文件里应使用绝对地址,并定期核对链接是否可达;
- 文件内容与页面不一致:llms.txt 里写的产品参数与页面参数表对不上,反而降低可信度;
- 只做 AI 配置、忽略传统收录:站点地图与结构化数据仍然是基础,AI 引用与自然收录并不互相替代;
- 一次性配置后长期不更新:新增产品与页面后同步维护说明文件,才能保持一致。
六、上线前检查清单
- robots.txt 中已为常见 AI 爬虫显式声明 Allow,并拒绝了后台与接口目录;
- 根目录可访问 llms.txt,且内容为 Markdown 格式;
- 关键事实列表填写完整,公司名称与联系方式与页面一致;
- 产品与内容链接全部使用绝对地址且可正常打开;
- 重点页面已补齐规格、流程与认证这类事实型内容;
- 站点地图与结构化数据同步更新,传统收录与 AI 抓取两端都覆盖。
极致 CMS 外贸独立站系统在构建站点时会一并输出站点地图、robots 规则与面向生成式引擎的说明文件,多语种目录下每个语种可独立配置。相关能力可查看 极致 CMS 外贸独立站系统,或联系我们获取配置建议。
