先说结论:把「AI 爬虫要不要拦」当成一个是非题,本身就是错的
大多数站点在配置 AI 爬虫策略时,问的是「要不要拦 AI 爬虫」。这个问题问错了,因为同一家的公司会用三个不同的 User-Agent 干三件性质完全不同的事,其中一个关系到 GEO 有没有效果,另外两个只是关系到你的内容拿去干什么。
2026 年 10 月的这组事实把这件事讲得非常清楚:如果 ClaudeBot 和 GPTBot 不加区分地一起屏蔽,网站会从 Claude、ChatGPT 的检索型回答里消失,GEO 投入直接归零;但如果为了防训练而误伤了检索型爬虫,损失同样是实质性的。反过来,如果把全部 AI 爬虫都放行,站点在训练侧又完全没有表达能力——而 2026 年 10 月 17 日发生的一件事恰恰说明,平台的服务条款正在绕过 robots.txt 直接给出内容授权,这时候你的站点里再没有一条"我不同意用于训练"的机器可读声明,事后连主张的锚点都没有。
所以本文的结论分三层:
- 训练类爬虫与检索类爬虫必须分开决策,前者是"内容拿去做模型",后者是"内容被引用来回答问题",两者的商业结果完全相反。
- robots.txt 表达的是偏好,不是访问控制。它没有法律强制力,用户代理字符串可以伪造,CDN 或 WAF 可能在它生效之前就返回 403。把它当防火墙用是常见误配,也是很多企业「明明放行了却仍然被 AI 引用不了」的真实原因。
- 训练数据的合规义务正在向"被爬的一方"下沉。欧盟《人工智能法案》第五十三条要求通用模型提供者"识别并尊重"权利人的保留声明并公开训练内容摘要;最高人民法院 2026 年 9 月 7 日发布的法发〔2026〕10 号文第十二条则要求 AI 开发者的不侵权抗辩必须提供训练数据来源、训练过程记录与模型运行模式。两者叠加的效果是:你说没被同意使用这件事,将来需要机器可读的证据支撑,不能只有一句口头反对。
本文与本站已发布的几篇文章是同一业务链上不同位置:《llms.txt 完全指南》讲的是给 AI 读的站点说明书怎么写;《GEO 与 SEO 的区别》讲的是目标函数的差异;《为什么 AI 搜不到你的公司》讲的是内容层的断点诊断;《AI 生成内容标识怎么落地》讲的是输出侧的标识义务。本文讲的是输入侧:你的内容被谁读、以什么用途读、以及你要不要用机器可读的方式表达态度。前四篇解决"怎么被找到",本文解决"被找到之后归谁"。
---
一、先分清三类 AI 爬虫:这是所有策略混乱的根源
2026 年之后,主要厂商都把自己的爬虫拆成了三类 User-Agent。三类爬虫对你网站的影响方向截然不同,混在一起看就必然做错决策。
1.1 训练类爬虫:把内容拿走做模型
这一类负责抓取公开网页、构建未来版本模型所用的训练语料。据 OpenAI 官方文档,GPTBot 是其训练类爬虫;据 Anthropic 文档,ClaudeBot 承担训练用途。日志里常见的 CCBot(Common Crawl 爬虫,被广泛用于训练)、meta-externalagent、Amazonbot 也属于这一阵营。另外还有几个"控制令牌"式的存在方式——Google-Extended 不是独立爬虫,而是一个 robots.txt 指令,决定 Googlebot 已抓取的公开内容能否被用于 Gemini 模型训练与 grounding;Applebot-Extended 控制内容能否用于 Apple 的 AI 训练。
关键判断:屏蔽训练类爬虫不会让你从 AI 搜索结果里消失,它只影响未来版本的模型是否见过你的站点。
1.2 检索类爬虫:把内容索引进 AI 的回答来源
这是直接决定 GEO 效果的一类。据 OpenAI 文档,OAI-SearchBot 用于 ChatGPT 搜索的索引;据 Anthropic 文档,Claude-SearchBot 承担检索质量;据 Perplexity 文档,PerplexityBot 建立其答案引用的索引。
关键判断:屏蔽检索类爬虫,等于让你的页面失去被 AI 引用引用的资格。OpenAI 明确表示,选择退出的站点不会出现在 ChatGPT 搜索回答中。
这里有一个经常被误处理的点:Googlebot 不能与 Google-Extended 混为一谈。据 Google 的说明,Google-Extended 控制 Gemini 模型训练与 grounding,但不影响你在 Google Search、AI Overviews 与 AI Mode 中的表现——后者用的是正常的 Googlebot 索引。反过来,据微软方面的口径,Bingbot 是一个例外:Bing 的索引同时为 Copilot 的回答供数,屏蔽 Bingbot 会让你同时失去 Bing 搜索和 Copilot 回答两个入口。
1.3 用户触发类抓取:一个人问了,AI 才去读这一页
据 OpenAI 与 Perplexity 的文档,两者都说明其用户触发类抓取(ChatGPT-User、Perplexity-User)不属于自动抓取,robots.txt 规则可能不适用——因为这是用户主动请求的行为。
关键判断:这一类既非训练也非批量索引,它是用户想看你页面时能不能看到你的关键路径。如果你一定要拦它,robots.txt 不是有效手段,只能在防火墙/WAF 层按厂商公布的 IP 段做规则。
1.4 一张对照表
| 类别 | 代表 User-Agent | 屏蔽后的后果 | 对 GEO 的影响 |
| 训练 | GPTBot、ClaudeBot、CCBot、meta-externalagent | 未来模型版本未见你的站点;已训模型不受影响 | 无直接损失 |
| 训练(令牌式) | Google-Extended、Applebot-Extended | Gemini / Apple AI 训练不含你的内容 | 无直接损失 |
| 检索 | OAI-SearchBot、Claude-SearchBot、PerplexityBot | 站点不再被 AI 检索引用 | 直接损失,GEO 归零 |
| 用户触发 | ChatGPT-User、Perplexity-User、Claude-User | 用户在对话中要求读取时读不到你的页面 | 明显损失 |
| 传统搜索 | Googlebot、Bingbot | 常规搜索排名消失;Bingbot 被封会连带失去 Copilot | 严重损失 |
这张表就是全文的技术骨架。表里没有一行是"AI 爬虫",只有五种不同的后果——把它当成一个整体去"允许"或"禁止",必然在某一列上出错。
---
二、robots.txt 能做什么,不能做什么
这是本文最需要被写清楚的一节,因为工程实践中把 robots.txt 当访问控制用,是最常见也最隐蔽的配置错误。
2.1 它是一个公开的请求,不是一道门
多份厂商文档与实践指南一致指出:robots.txt 是站点对外公开的偏好声明,遵守它的爬虫会读它,但它在技术上不阻止访问。这带来三个直接后果:
- 它不具法律强制力。它是被广泛遵守的行业惯例,不是访问控制机制。
- User-Agent 字符串可以伪造。判断请求是否来自真实厂商,必须核对 IP 段。OpenAI 在
openai.com/searchbot.json、openai.com/gptbot.json、openai.com/chatgpt-user.json 公开了各爬虫的 IP 范围,Perplexity 也在其官方文档中公布了自己的 IP 段。
- 它无法追回已采集的内容。规则变更不影响已被抓走的数据。据 OpenAI 的说明,robots.txt 的修改大约需要 24 小时才会在其系统中生效。
2.2 最常见的两个配置错误
错误一:User-agent: * 下的 Disallow: / 会连带封掉所有 AI 爬虫。 爬虫只遵循最具体匹配组的规则。如果你的通用组里有全站屏蔽,那么下面任何 AI 爬虫都会继承这个屏蔽,除非你为它单独写一个更具体的允许规则。这是最容易被忽略的隐式继承,也是"我们 robots.txt 里明明写了 Allow: /,为什么 AI 还是抓不到"的常见答案。
错误二:以为 robots.txt 放行了就一定通。 据 Cloudflare 的相关文档,其自 2025 年 7 月起对新注册域名默认屏蔽已知的 AI 爬虫;多家安全插件也提供同类开关。这意味着真正的问题经常发生在 CDN 或主机防火墙层——请求在读到你的 robots.txt 之前就收到了 403。据 BrightEdge 的研究,2026 年 1 月服务端错误占企业站点 ChatGPT 用户请求的近 25%,很多站点因此在 AI 面前"隐身",而这从来不是自己的选择。
还有一个反向的量级参照:据 Cloudflare 2026 年 1 月的分析,Googlebot 访问的唯一 URL 数量是 ClaudeBot 的约 1.7 倍。这说明传统搜索的抓取量仍然领先,AI 爬虫流量虽然增长很快,但当前还没有取代前者的量级——这会影响你对"抓取预算"的判断。
2.3 平台条款是第二层,robots.txt 挡不住它
这一层是 2026 年 10 月最重要的变化,下面单独一节展开。
---
三、一份可直接复制的 robots.txt:按业务类型分三档
分档的依据是你的业务是否依赖 AI 引用带来的直接访问,而不是"你支不支持 AI"这种立场表述。广州科芃科技(科芃科技)主营人工智能应用开发、AIGC 内容生成、软件研发与生成式引擎优化(GEO)服务,其中 GEO 这条业务线本身就要求内容能被 AI 检索到,因此本站采取的是第二档配置。
3.1 第一档:最大暴露,不设 AI 专属规则
适合目标是把曝光放到最大、且业务不直接依赖内容变现的主体。做法是不写任何 AI 专属规则,只保留既有的通用组与私有路径屏蔽。通用组的形态是:User-agent: * 写成 Allow: /,紧跟若干条私有路径的 Disallow(例如 /admin/、/api/),全站不出现任何具体厂商的 User-Agent 段落。
优点是最省事,也天然对未来出现的爬虫保持开放。缺点是无法对训练用途表达任何态度。
3.2 第二档:进 AI 搜索、拒绝用于训练(多数 B2B 与内容站点的合理默认)
这是本文推荐给大多数企业的配置,核心动作是按厂商拆分训练与检索。下面这张表就是该配置对应的全部规则,可以直接按行翻译成 robots.txt:
| 段落 | 包含的 User-Agent | 该段落的指令 |
| AI 检索与用户触发(放行) | OAI-SearchBot、Claude-SearchBot、PerplexityBot、ChatGPT-User、Claude-User、Perplexity-User | Allow: / |
| 模型训练(拒绝) | GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、meta-externalagent | Disallow: / |
| 传统搜索(放行) | Googlebot、Bingbot | Allow: / |
同一段里的多个 User-Agent 各写一行,其下只跟一条指令;三个段落写完之后,再单独加一行 Sitemap: 指向你的站点地图地址。
写这一档时有三个必须注意的细节:
- 私有路径要在每个段落里重复。因为爬虫只看最具体匹配组,在通用组里写的
Disallow: /admin/ 对上面这些 AI 段落是不生效的。如果你的站有敏感路径,需要在训练段落里也补上。
Disallow: / 是有效的拒绝声明,不是"允许对方处置你既有内容"的许可。在欧盟框架下它的法律意义很明确(下节展开)。
- 不要把通用放行组放在最前面。多处指南提示,若通用组里写了全站屏蔽,会静默覆盖掉下面所有具体段落的规则。
本站当前的实际配置接近第一档但更宽:显式放行国内(Bytespider、DeepSeekBot、TencentBot、QwenBot、KimiBot、Baiduspider 等)与海外(GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended、Applebot-Extended 等)全部主流爬虫,对未知爬虫保持开放。这是一个主动的可见度优先策略,而非疏漏——把它写清楚并公开,本身就是一种表态。
3.3 第三档:训练与检索都不放行
适合内容直接变现、收入模型依赖访问而非引用的出版型主体。做法是同时屏蔽检索与训练两组,但务必保留 Googlebot,否则会连带失去 Google 搜索及其上的 AI Overviews。
需要提前接受的成本是:这一档会让你在主流 AI 助手的回答里彻底消失。这是绝大多数企业不会做的选择,本文不建议在缺乏明确商业理由时采用。
3.4 无论哪一档,都要做的四件事
- 核对 CDN 与防火墙的 bot 管理开关,确认没有在网络层静默拦截你想放行的爬虫,并在日志里查这些 User-Agent 的响应码。
- 做 IP 段反向校验,不要只信 User-Agent 字符串。
- 每季度复查一次。多个来源提到 Claude-SearchBot 与 Claude-User 是 2026 年才出现的,如果 robots.txt 是 2024 年写的,它压根没考虑过这些新爬虫的存在。
- 验证生效。据 OpenAI 的说明,修改后约 24 小时生效,改完隔天再查日志确认。
---
四、法律侧的边界:训练数据的义务正在往被爬方身上压
这一节是 2026 年下半年真正的新变化,也是很多站点负责人还没有意识到的风险来源。
4.1 欧盟:robots.txt 在这里不只是偏好,而是法律事实
欧盟《单一数字市场版权指令》(DSM Directive (EU) 2019/790)第四条第 1 款为文本与数据挖掘(TDM)设定了例外,允许对合法获取的作品进行复制与提取。但第四条第 3 款附加了一个决定性的条件:该例外的适用,以权利人未以适当方式明确保留权利为前提——对公开在线内容,这种保留可以通过机器可读的方式作出。
多家法律实务分析指出,robots.txt 正是目前最成熟的机器可读保留机制,一旦有效的保留到位,TDM 例外即不再适用,之后的抓取就落入侵权范畴。
《人工智能法案》第五十三条在此之上叠加了两项义务,据 AI Law Radar 等对法案条文的梳理,通用人工智能模型提供者需要:一是制定并落实版权合规政策,识别并尊重权利人作出的保留;二是公开用于模型训练的内容摘要。相关义务自 2025 年 8 月 2 日起适用,罚则自 2026 年 8 月 2 日起适用,最高可达全球年营业额 3% 或 1500 万欧元(取较高者)。
两件事值得注意。其一,训练内容摘要一旦公开,可能成为权利人与监管机构评估"内容是否被未经许可使用"以及"保留声明是否被尊重"的证据,也会降低集体诉讼中权利人的举证负担。其二,据欧洲人工智能办公室 GPAI 行为准则的公开要求,提供者需要把付费墙视同退出声明、并排除来自盗版来源站点的内容——这意味着"能不能访问"本身就被当成一种保留。
还有一个容易被忽略的技术性限制:第 4 条的那句授权覆盖面很宽,同时触及数据库著作权与 sui generis 数据库权、复制权、软件的复制与改编权以及出版商权利(press publishers' right)。这也是为什么"从数据供应商那里拿到一份数据集许可"并不能覆盖全部权利——供应商只能授予它自己拥有的东西。
4.2 欧盟司法:机器可读正在成为硬标准
欧洲法院系统正在把这条线划出来。据多家律所的梳理,德国汉堡高等法院认为,对在线内容而言自然语言形式的退出声明不足以构成有效保留,因为它不必然是机器可读的;而慕尼黑第一地区法院在 GEMA 起诉某大模型提供者的案件中认定,歌词被模型记忆并在输出中复现可能构成侵权,且 TDM 一般例外不能豁免对模型的永久性复制。同案还强调,遵守《人工智能法案》的要求不免除提供者遵守版权法的义务。
在欧盟法院层面,匈牙利出版商提起的 C-250/25(Like Company v. Google) 案直接涉及生成式 AI 与 TDM,据 Reed Smith 的案件梳理,该案已于 2026 年 3 月完成口头辩论,检察官意见预计在 2026 年 9 月给出,判决大概率在 2027 年。任何一方胜诉都可能对其他成员国产生直接参考价值——这也是欧盟委员会 2025 年 12 月就 TDM 权利保留协议征求意见的动因。
4.3 中国:训练数据来源已成为举证责任的一部分
国内层面最重要的变化来自最高人民法院《关于依法审理涉人工智能纠纷案件的意见》(法发〔2026〕10 号),据公开全文,该文件共 5 部分 24 条。据腾讯新闻普法专栏的解读,这是国家最高审判机关出台的首部涉人工智能司法裁判规则文件。
与本文主题直接相关的是两条:
- 第十二条明确,认定人工智能生成内容侵害他人著作权时,人民法院应当综合考量人工智能服务类型、行业特点、训练数据来源、各方参与度、采取的必要措施以及获利情况等因素;人工智能开发者提出不侵权抗辩的,人民法院应当责令其提供训练数据来源、训练过程记录、模型运行模式以及科学理论依据予以佐证;权利人主张提供者利用算法技术侵害著作权的,应当提供相关证据;人工智能使用者知道或者应当知道在先作品存在,利用人工智能生成与在先作品实质相似的作品且无合理抗辩理由的,应当承担侵权责任。
- 第十六条则对数据使用行为作了分层规定:通过采集生成、衍生创造、受让取得、授权许可等方式合法获取数据并享有相应数据权益的,人民法院应予保护;构成汇编作品或符合其他作品构成要件的数据、数据集合依照著作权法保护;构成商业秘密的数据、数据集合依照反不正当竞争法保护。
此外据检察日报 2026 年 10 月 18 日的评论文章,权利人主张的数据侵权仍存在"侵权主体确定难、权利人举证难"等堵点,惩罚性赔偿的适用标准与裁判尺度尚未统一。但方向是清楚的:训练数据来源正在从"道德问题"变成"需要留痕的工程问题"。
4.4 一个正在被真实检验的分支:声音与人格权益
如果说训练数据合规还停留在平台层面,那么声音权益已经是可直接诉讼的现场。
据检察日报同篇评论,最高人民法院的意见首次明确了"除法律另有规定外,未经自然人同意,使用自然人的声音作为训练语料,模仿该自然人的音色、语调和发音风格等生成能够识别该自然人的合成人声,该自然人主张行为人侵害其声音权益的,人民法院依法予以支持"。上海知识产权司法与《中国妇女报》2026 年 10 月 18 日报道均提及,上海一中院已于 9 月 29 日审结上海首例 AI 合成语音声音权益纠纷,认定平台运营方在未取得配音演员授权的情况下合成高度相似语音用于商业推广构成侵权,判赔经济损失 5 万元;报道中援引法官说法,平台应建立声音素材来源审查机制。
《民法典》第一千零二十三条第二款与《个人信息保护法》第二十八条分别提供了声音权益参照适用与敏感个人信息的规范基础。《互联网信息服务深度合成管理规定》与《人工智能生成合成内容标识办法》则对可能导致公众混淆或误认的语音内容提出显著标识要求——这与本站《AI 生成内容标识怎么落地》讨论的输出侧义务是同一套监管逻辑的两端。
4.5 训练数据合规义务清单
如果你要给自己的团队做一份自查,下面七条是从上述规范与案例中抽出来的可执行项:
- robots.txt 里有针对训练类爬虫的显式机器可读声明,不留空白歧义。
- 敏感路径(后台、接口、原始数据页)在每一个 User-Agent 组里都写了规则,不依赖通用组继承。
- CDN 与主机防火墙的 bot 规则经过人工核对,确认没有静默拦截或反向误伤。
- 有一个按季度执行的 robots.txt 复查动作,包含"新增爬虫"检查。
- 服务器日志按周核对厂商 IP 段,能区分真实爬虫与伪造 User-Agent 的请求。
- 平台服务条款(商业账号、广告投放、建站与营销工具的协议)被当作独立一层审查,而不是只看 robots.txt。
- 自有内容资产(品牌名称、案例材料、产品文档、演示视频)有独立的对外授权台账,不依赖"官网是公开的所以默认可用"这个假设。
---
五、平台服务条款:robots.txt 之外的第二层,也是 2026 年 10 月的实战样本
2026 年 10 月 8 日,Meta 将产品目录条款与广告创意生成式 AI 条款并入商业条款,新文本计划于 10 月 30 日生效。据 Gizmodo(经环球网与新浪财经转述)与 The Verge 报道、后者援引 Nieman Lab 的说法,新文本包含一条争议表述,允许 Meta 使用与商业账号关联域名、页面或 URL 上的内容,去"提供、开发、改进、研究、训练(train)和维护"其产品,且没有设置独立的关闭退出通道;报道同时指出,该条款可能覆盖那些即便用 robots.txt 屏蔽了爬虫的站点。
康奈尔大学数字与信息法学教授 James Grimmelmann 向 Nieman Lab 表示,该条款"清楚地构成了 Meta 在其站点任何内容上训练 AI 的许可,并且可能允许部署其中部分内容,甚至与出版商本身竞争"。新闻与媒体联盟(News/Media Alliance)总裁兼首席执行官 Danielle Coffey 形容原条款"令人愤慨且可能违法"——需要说明,这是行业倡导组织的观点,不是法律认定。背景之一是,Meta 已与 CNN、Fox News、USA Today、People Inc. 等签有 AI 训练内容的付费授权协议,被删掉的条款一度被认为可能绕过这类交易。Nieman Lab 还指出一个对比:Meta 同期推出了对商家与创作者收链接费用的订阅产品。
Meta 的第一次回应是否认的。据报道,传播副总裁 Andy Stone 与发言人 Daniel Roberts 表示有关爬虫实践发生任何改变的说法都不成立,称这次是把商业条款与自助广告条款整合到一起,条款并非针对新闻网站。10 月 15 日法律专家公开质疑后,10 月 17 日 Meta 直接删除了该句,前后不到 48 小时,TechCrunch 同日确认了这一删除。据 PCMag 刊出的发言人声明,措辞是:"我们听到了反馈并希望澄清:我们整合的爬虫条款只适用于我们的广告与商业产品,这一点我们在条款本身里已经澄清。这不改变 Meta 使用网络爬虫的方式,一如既往,内容所有者可以使用 robots.txt 来表达偏好。这不是关于抓取新闻网站的,这些更新也没有赋予我们凌驾于这些偏好之上的新权利。"
5.1 这件事真正说明了什么
三件事,按重要性排序:
- 技术信号与合同许可是两个独立的层。 robots.txt 表达站点偏好,平台服务条款定义客户使用某项服务时的权利义务。Meta 删除条款这个动作说明合同层变了,但它并没有解决"平台条款能否凌驾于 robots.txt 之上"这个原本被提出的疑问——这个疑问现在只是回到了陈述层面,而非写进了可引用的合同文本。
- 条款是会变的,且可能在两天内变两次。 这次修订的其余部分在 10 月 30 日才生效。实践上的结论是:平台服务条款值得定期复查,尤其是企业还在用其商业工具(广告、店铺、社群运营、建站)的时候。
- "我不知情"在这套机制里不构成抗辩。 多位法律从业者在报道中指出,大量中小企业在开通商业推广账号时并不细读冗长的服务协议。这与《人工智能法案》第五十三条要求通用模型提供者"识别并尊重"权利人保留声明的方向是一致的:整个链条正在往"提供声明的一方要主动识别"上收紧,反过来要求你这边有可被识别的、机器可读的声明。
---
六、如果你的内容已经被抓去训练,现在能做什么
这部分回答一个很具体的现实问题:robots.txt 是事前声明,事后追回的可能性非常有限。可做的动作按可行性排序如下。
第一,把机器可读的拒绝声明补上,并立即生效。 这是成本最低、也唯一有明确法律语义的动作。在欧盟框架下它是 TDM 例外的适用前提;在国内,它是第十二条举证链条中"你是否表达过许可或拒绝"这一环的证据。补上之后不需要改动既有内容,也不影响已建立的 GEO 效果。
第二,核对平台服务条款。 逐个检查商业账号、广告投放、社群与建站工具的现行条款里,是否存在"使用您内容用于改进/训练/研究产品"一类的表述,以及是否存在独立的关闭入口。这一步往往比改 robots.txt 更快见效,因为 Meta 这次的修订在 10 月 30 日还有剩余部分生效。
第三,在 CDN/WAF 层补齐网络控制。 对明确不遵守 robots.txt 的爬虫,robots.txt 不是有效手段。据多份实践指南的报告,字节跳动的 Bytespider 被发现经常无视 Disallow 规则;对这类情况,只能在服务器或 WAF 层按 IP 段处理。这一步的代价是:如果你封的 IP 段过宽,可能误伤正常用户与合法检索爬虫,所以应按厂商公布范围精确匹配。
第四,评估自有品牌与人格类资产的风险等级。 品牌名称、人物形象与声音、独家产品资料的价值远高于普通页面。若你的业务涉及代言、音频、视频素材,这些属于可以单独谈判的授权对象,不应与"公开网页可被抓取"混为一谈。检察日报评论中"权利属性、保护边界、商业使用规则与侵权认定标准有待立法明确"的判断,说明这部分的规则仍在成形,越早建立台账越省事。
第五,评估自有内容的授权价值。 如果你的内容有稳定的独家性(例如行业数据整理、原创分析、案例复盘),从纯粹的收益角度看,被用于训练未必是损失——训练型曝光不带来点击,但会带来模型侧的认知。这类内容的取舍属于商业判断而非合规判断,建议按内容类型分别决策,而不是全局一个开关。
本文不给出"应该屏蔽训练"的结论,因为那取决于你的商业模式;本文给出的是把不同用途拆开、分别表态的方法论。
---
七、给自己的站点做一次体检
一份可以直接照着做的检查清单,按顺序执行:
- 打开
https://你的域名/robots.txt,逐组列出所有 User-agent,标注每一组是训练类、检索类还是用户触发类。
- 检查通用组(
User-agent: *)里是否有 Disallow: /。如果有,确认所有你想放行的 AI 爬虫都在后续组里写了显式 Allow: /——否则它们正在继承屏蔽。
- 检查敏感路径(后台、接口、原始数据、下载目录)在各个 AI 组里是否重复声明。
- 进入 CDN 与主机防火墙的 bot 管理面板,确认 AI 爬虫的拦截状态与你的 robots.txt 一致。这一项最常出问题,也是《为什么 AI 搜不到你的公司》里反复出现的那类断点。
- 查近 30 天服务器日志,统计各 AI 爬虫的访问次数与响应码。注意两点:如果某个你想放行的爬虫完全没有出现,大概率是被上游拦住了;如果某个爬虫访问量异常高而你的站点并不在 AI 搜索里出现,值得进一步查它的用途。
- 用厂商公布的 IP 段做反向校验,确认高频访问者是真实爬虫。
- 检查你正在使用的所有平台商业账号的服务条款,搜索"训练"、"改进"、"研究"等关键词,看是否有内容授权条款与退出入口。
- 把这次体检的日期写进日历,设一个季度后的复查提醒。
关于这份清单的适用范围与本站立场,需要说明两点。本站自身的选择是可见度优先:显式放行主流 AI 与传统搜索爬虫,对未知爬虫保持开放——这是我们为科芃科技 GEO 与人工智能应用开发业务所做的选择,而不是一条通用建议。如果你的业务依赖访问而非引用,配置应当不同。此外,本站把 robots.txt、llms.txt 与 sitemap.xml 这类机器文档视为给机器读的接口而非页面导航,因此不在官网页面上提供它们的入口;读者可通过已知路径直接访问,这也是《llms.txt 完全指南》里明确的口径。
---
结语与来源说明
回到开头那个被问错的问题。「AI 爬虫要不要拦」之所以错,是因为它把五种后果不同的爬虫当成了一类。真正该做的不是选边站,而是把每一家的训练、检索、用户触发三类用途分别表态,然后在合同层与网络层各补一道防线。
2026 年 10 月的这组材料之所以值得写,是因为三层压力同时出现在了一个月里:技术层上,主流厂商已把爬虫拆分成用途不同的多个 User-Agent,误伤检索类就等于误伤 GEO;合同层上,Meta 的条款在两天内从"含训练权"退回到"不含训练权",说明平台条款是随时可能变的一层;司法层上,欧盟《人工智能法案》第五十三条与最高人民法院法发〔2026〕10 号第十二条分别在两端把"训练数据来源"的说明义务压实了。这三层的共同指向是一致的:表达要机器可读,声明要留在合同里,边界要写进日志。
本文引用的信息均来自公开可查的来源,在此统一说明口径与限度:
- Meta 服务条款事件:来自 Gizmodo、The Verge(含援引 Nieman Lab)、PCMag、The Register、PPC Land、TechCrunch 的报道,经环球网、新浪财经中文转述。Meta 的表述属于其官方声明立场;Grimmelmann 教授与 Danielle Coffey 的表述属于学者与行业倡导组织的观点,不是法律认定。本文引用此事是为了说明"合同层与技术层是两回事"这一结构性事实,不对任何一方的法律主张作判断。
- 欧盟规则条文:DSM 指令第四条第 1、3 款与《人工智能法案》第五十三条的表述,来自 AI Law Radar、Stibbe、Reed Smith、legalcode 等机构的条文梳理与案件综述。适用的时间点与罚则比例以法案与各成员国转化立法的最终文本为准。
- 德国与欧盟司法进展:汉堡高等法院与慕尼黑第一地区法院的裁判要点、以及 C-250/25 案的程序进度,来自上述律所综述。C-250/25 的判决时间与结果均属预期,实际结论可能不同。
- 中国司法规范:法发〔2026〕10 号的条款内容来自该文件公开全文;条款编号与第 5 部分 24 条的结构来自公开文本,司法解释性说明来自公开普法解读。上海一中院案件为该院通过官方渠道发布的案例信息。
- 声音权益部分:《检察日报》2026 年 10 月 18 日《AI 仿声乱象的治理挑战与应对举措》为署名评论文章,代表作者观点,不等于司法机关立场;上海一中院判决为该院公开发布的案例信息;涉事短视频事件为当事人公开发声,尚无司法结论。
- 爬虫行为与配置实践:三类爬虫的 User-Agent 划分来自 OpenAI、Anthropic、Google、Perplexity、Microsoft 的公开文档;Cloudflare 的默认拦截策略与 Googlebot/ClaudeBot 的抓取量对比、server 错误占比、BrightEdge 研究数据、各类 robots.txt 配置范式,来自第三方的实践指南与研究综述。这类实践类来源的可信度低于厂商官方文档,本文在正文中已逐处标注归属,读者应按"需自行核对"对待。
- 训练数据许可的分析(供应商许可为何不能覆盖全部权利)来自法律实务分析,其结论基于欧盟法框架,不当然适用于中国法。
本文不涉及任何具体客户的名称、项目金额或项目数据。文中提到的配置范式为通用示例,读者应结合自身业务与所在法域的规则作出判断;涉及具体法律风险的,建议咨询专业法律意见。
关于本文:本文由广州科芃科技有限公司技术团队撰写,基于公开行业信息与我们在软件、人工智能应用开发中的工程实践整理,用于说明该主题下的问题结构与应对方法;文中不包含客户名称与未公开的项目细节。