由于人工智能模型训练对在线内容有着无止境的需求，网络爬虫机器人已经成为维基媒体社区无法承受的负担。
维基媒体基金会 (负责管理维基百科及类似社区项目) 的代表表示，自 2024 年 1 月以来，用于处理多媒体文件请求的带宽使用量增加了 50%。
维基媒体基金会的 Birgit Mueller、Chris Danis 和 Giuseppe Lavagetto 在一份公开帖子中解释道："这种增长并非来自人类读者，而主要来自自动化程序，这些程序在抓取维基共享资源中的开放许可图片，用于训练 AI 模型。"
"我们的基础设施本是为了应对重大事件期间人类用户造成的突发流量高峰而建立的，但爬虫机器人产生的流量规模前所未有，带来了日益增长的风险和成本。"
据维基媒体人士透露，维基媒体基金会数据中心处理的最耗资源内容中，至少 65% 的流量是由机器人产生的，尽管这些软件代理仅占页面访问量的约 35%。
这是因为维基媒体基金会采用了缓存策略，将热门内容分发到全球各地的区域数据中心以提升性能。机器人访问页面时不考虑内容的热门程度，它们对冷门内容的请求意味着这些内容必须从核心数据中心获取，这会消耗更多计算资源。
正如维基媒体人士通过引用我们最近的相关报告所指出的，在过去一年左右的时间里，行为不当的机器人一直是开源项目计算基础设施运营者的普遍抱怨。
上个月，Git 托管服务 Sourcehut 公开批评了那些为 AI 公司疯狂抓取内容的网络爬虫。Diaspora 开发者 Dennis Schubert、维修网站 iFixit 以及 ReadTheDocs 等也都对激进的 AI 爬虫表示反对。
大多数网站都认识到为机器人查询提供带宽是经营成本的一部分，因为这些脚本化访问通过为搜索引擎建立索引，有助于在线内容更容易被发现。
但自从 ChatGPT 上线和生成式 AI 兴起以来，机器人变得更加肆无忌惮，大量抓取整个网站的内容用于训练 AI 模型。这些模型最终可能成为商业竞争对手，通过收费订阅或免费方式提供它们收集的聚合知识。这两种情况都可能减少对源网站的需求，或减少产生在线广告收入的搜索查询。
维基媒体基金会在其 2025/2026 年度规划文件的"基础设施负责任使用"部分中提出了一个目标："在请求率方面将爬虫产生的流量减少 20%，在带宽使用方面减少 30%。"
该规划文件指出，虽然维基百科及其多媒体库维基共享资源对训练机器学习模型来说是无价之宝，但"我们必须优先考虑为谁提供这些资源，我们希望优先考虑人类使用，并优先支持维基媒体项目和贡献者使用我们有限的资源。"
除了网站可靠性工程师已经采取的针对性干预措施来封禁最恶劣的机器人外，如何实现这一目标仍有待探索。
由于对 AI 内容滥用性采集的担忧已存在一段时间，已经出现了许多用于阻止激进爬虫的工具。这些包括：数据投毒项目如 Glaze、Nightshade 和 ArtShield；以及基于网络的工具，包括 Kudurru、Nepenthes、AI Labyrinth 和 Anubis。
去年，当网络对 AI 爬虫的不满传到主要的 AI 机器人赞助商 (如 Google、OpenAI 和 Anthropic 等) 耳中时，他们做出了一些努力，通过应用 robots.txt 指令来提供防止 AI 爬虫访问网站的方法。
但这些存储在网站根目录供到访网络爬虫读取的指令并未得到普遍部署或遵守。而且，如果不使用通配符来覆盖所有可能性，这种可选的声明式防御协议也无法跟上仅需更改名称就能躲避封禁列表条目的步伐。网站运营者普遍反映，行为不当的机器人会将自己伪装成 Googlebot 或其他广泛容忍的爬虫，以避免被封禁。
例如，Wikipedia.org 的 robots.txt 文件并没有封禁来自 Google、OpenAI 或 Anthropic 的 AI 爬虫。它封禁了一些因贪婪抓取整个网站而被认为有问题的机器人，但未能包括主要商业 AI 公司的条目。
The Register 已就维基媒体基金会为何没有更全面地禁止 AI 爬虫一事向其询问。
