Cloudflare为网站添加AI审计 可检查AI爬虫何时抓取和抓取频次以及直接屏蔽爬虫

网络服务提供商Cloudflare宣布即日起为所有网站(包括免费托管的网站)带来AI审计功能，该功能目前处于测试阶段，可以分析AI公司的爬虫和抓爬数据。新的AI审计工具(CloudflareAIAudit)主要提供AI公司的爬虫何时到网站来抓取数据、抓取的数据地址、抓取频次以及其他分析数据。

内容创作者和网站管理员可以借助AI审计功能轻松检查自己的内容被哪些AI公司白嫖了，如果被白嫖难受的话，也可以直接一键禁止抓取。

其中AI审计工具中的禁止抓取与Cloudflare已经提供的一键禁止所有AI爬虫抓取不同，在AI审计工具中网站管理员可以分门别类的进行审计和屏蔽。

举个例子：如果网站已经与OpenAI达成协议允许其抓取内容，则网站管理员可以放行GPTBot爬虫，而其他认识的、不认识的、白嫖的爬虫可以全部屏蔽。

在Cloudflare的演示中目前能够识别的爬虫包括OpenAI、Meta、字节跳动、CommonCrawl(通用爬虫，即不可识别到特定公司的爬虫)、Anthropic、Amazon、Perplexity等知名的人工智能开发商。

如果网站本身没有和任何一家AI公司达成内容授权协议，那还可以通过AI爬虫的抓取频次进行封禁，这样可以避免某些公司的爬虫进行高频次抓爬耗费服务器带宽和流量以及影响正常用户的访问体验。

此外Cloudflare还计划在明年推出交易市场，允许网站管理员设置自己网站的内容抓取价格，AI公司如果愿意的话可以付费获取抓取权限，如果不愿意付费那网站就可以通过Cloudflare一键拦截爬虫阻止内容被抓取。

AI审计路径：登录Cloudflare控制台、选择特定的网站、在左侧导航栏点击AIAudit即可查看，目前此功能刚刚上线因此大部分网站数据可能还是空白的。