近日，全球领先的互联网基础设施提供商Cloudflare公司推出了一款名为“AI Labyrinth”（AI迷宫）的全新工具，其主旨在于打击那些未经授权就擅自抓取网站数据的网络爬虫。此工具的核心策略在于，一旦发现爬虫存在不当行为，它就会引导这些爬虫进入一系列由AI技术生成的虚假页面。这样做的目的在于消耗、迷惑那些恶意爬虫，使它们陷入无用信息的迷宫之中。

长期以来，网站管理员大多依赖“robots.txt”文件来管理爬虫访问权限。然而，不少AI公司，包括Anthropic和Perplexity AI等知名公司，往往会忽视这一规则。Cloudflare表示，他们每天面临的爬虫请求数量超过500亿个。尽管有能力识别和阻止恶意请求，但这往往促使攻击者不断调整策略，形成一场永无止境的“军备竞赛”。

相较于被动防御，Cloudflare选择主动出击，推出了AI Labyrinth工具。这一工具的设计使得爬虫需要处理与目标网站数据无关的信息，从而让这些爬虫迷失在虚假信息之中。Cloudflare强调，AI Labyrinth不仅是“下一代诱饵”，还能帮助识别恶意爬虫，了解新出现的爬虫模式和特征。这些链接对普通用户来说是隐蔽的，从而避免了影响正常用户的体验。

在Cloudflare的仪表板中，网站管理员可以通过“爬虫管理”部分选择是否启用AI Labyrinth。这项新功能的推出是使用生成AI对抗爬虫的第一步。Cloudflare还计划构建一个“整套链接URL网络”，使爬虫更难识别虚假数据。值得注意的是，AI Labyrinth与Nepenthes工具类似，后者被设计用来让爬虫沉浸在大量AI生成的垃圾数据中，从而拖延其行动。

官方博客地址：https://blog.cloudflare.com/ai-labyrinth/

划重点：

🕷️ Cloudflare推出“AI Labyrinth”，用以对抗恶意抓取数据的网络爬虫。

🔗 新工具通过AI生成虚假页面，引导爬虫进入无用信息中，以消耗其资源。

💡 网站管理员可以在Cloudflare仪表板上轻松启用此功能，未来该功能还将扩展为更复杂的链接网络。