Cloudflare将在明年推出新市场 允许AI模型开发商付费获取网站内容的抓取权限

有着赛博菩萨称号的Cloudflare日前宣布了一则重磅消息，该平台计划在明年推出一个新市场，叫做市场是因为这个新平台将帮助内容创作者与AI开发商进行交易。

按照Cloudflare的描述，网站管理员可以将自己的网站放在市场中，如果有AI开发商愿意付费购买内容，则可以抓取网站的内容用于AI模型的训练。

该公司称如果AI开发商不以某种方式补偿内容创作者，那么内容创作者就会停止创作，这是必须解决的问题。Cloudflare还提到该公司听到的都是内容创作者沮丧的声音，因为现在各种AI公司都在无偿抓取内容，创作者感觉自己的内容被盗了。

目前Cloudflare还提供了防止被盗的功能：网站管理员可以一键屏蔽各大AI公司的已知爬虫，直接从CDN或防火墙层面拦截这些爬虫，阻止这些爬虫继续抓取网站内容。

今年早些时候知名人工智能搜索初创公司Perplexity就被发现无视网站的robots.txt协议，即便网站管理员已经明确禁止其爬虫抓取内容，但Perplexity仍然会继续抓取内容。

一些网站所有者也对这种情况深感无力，一方面自己的内容被人工智能公司无偿抓取，另一方面这些爬虫还会高频次抓取类似DDoS攻击，这导致网站要付出更高的服务器和带宽成本。

Cloudflare新推出的一键屏蔽功能则可以在一定程度上解决问题，因为Cloudflare直接屏蔽访问不需要robots.txt文件，该公司称新功能让网站所有者实现只有Reddit和Quora等大型网站才能做到的事情。

此前Reddit和Quora也开始禁止AI爬虫抓取内容用于模型训练，这些大公司有庞大的团队，通过各种机制拦截未经授权的爬虫，对小型网站来说使用Cloudflare的一键拦截确实会更加方便。