Cloudflare推出了一个市场，允许网站向AI机器人收取数据抓取费用

Cloudflare 推出了一个市场，允许网站向AI机器人收取数据抓取费用

Cloudflare 是一家为 20% 的网络提供服务的云基础设施提供商，该公司周二宣布推出一个新市场，重新构想网站所有者和人工智能公司之间的关系——理想情况下，让出版商对其内容拥有更大的控制权。

去年，Cloudflare 为出版商推出了一系列工具，以应对人工智能爬虫的猖獗增长，其中包括一键式解决方案，可屏蔽所有人工智能机器人，以及一个仪表板，可查看人工智能爬虫如何访问其网站。在 2024 年的一次采访中，Cloudflare 首席执行官马修·普林斯 (Matthew Prince) 告诉 TechCrunch，这些产品正在为一种新型市场奠定基础，在这个市场中，出版商可以将其内容分发给人工智能公司并获得报酬。

现在，Cloudflare 正在让这个市场变得生动活泼。

这项名为“按抓取付费”的“实验”将于周二启动内测。参与实验的网站所有者可以选择让AI爬虫以固定费率（每次“抓取”）抓取他们的网站内容——每次“抓取”都会获得一笔小额报酬。或者，网站所有者可以选择免费让AI爬虫抓取他们的网站内容，或者完全屏蔽它们。Cloudflare声称，其工具将允许网站所有者查看爬虫是否在抓取他们的网站内容以获取AI训练数据、是否出现在AI搜索结果中，或者是否用于其他目的。

以下是网站所有者在按次付费爬取中看到的内容

Cloudflare 推出了一个市场，允许网站向 AI 机器人收取数据抓取费用

图片来源： Cloudflare
从规模上看，Cloudflare 的市场是一个伟大的构想，它能为出版商提供一种人工智能时代的潜在商业模式——而且它也将 Cloudflare 置于这一切的中心。随着谷歌搜索流量的减少和人工智能聊天机器人的日益普及，新闻出版商正面临着如何触达读者的生存困境，而该市场的推出正值此刻。

新闻出版商如何在人工智能时代生存，目前尚无定论。一些出版商，例如《纽约时报》，已对科技公司提起诉讼，指控这些公司未经许可在新闻文章上训练人工智能模型。与此同时，其他出版商也达成了多年期协议，授权其内容用于人工智能模型训练，并使其内容出现在人工智能聊天机器人的回复中。

即便如此，只有大型出版商达成了AI授权协议，而且目前尚不清楚这些协议能否带来可观的收入来源。Cloudflare的目标是创建一个更持久的系统，让出版商能够根据自己的条件定价。

该公司周二还宣布，使用 Cloudflare 搭建的新网站将默认屏蔽所有 AI 爬虫。网站所有者必须授予某些 AI 爬虫访问其网站的权限——Cloudflare 表示，这一变化将赋予每个新域名“默认控制权”。

包括康泰纳仕、《时代》杂志、美联社、《大西洋月刊》、《ADWEEK》和《财富》在内的几家大型出版商已与 Cloudflare 签约，默认阻止 AI 爬虫，以支持该公司“基于许可的爬取方法”的更广泛目标。

许多出版商几十年来赖以生存的商业模式正逐渐变得不可靠。过去，在线出版商允许谷歌抓取其网站内容，以换取谷歌搜索的推荐，从而转化为网站流量，并最终带来广告收入。

然而，Cloudflare 的最新数据表明，出版商在人工智能时代的处境可能比谷歌搜索时代更糟糕。虽然一些网站将 ChatGPT 列为主要流量来源，但总体情况似乎并非如此。

今年 6 月，Cloudflare 表示，它发现谷歌的爬虫程序每提供一次推荐，就会抓取其网站 14 次。与此同时，OpenAI 的爬虫程序每提供一次推荐，就会抓取网站 1700 次，而 Anthropic 的爬虫程序每提供一次推荐，就会抓取网站 73000 次。

与此同时，OpenAI 和谷歌正在开发人工智能代理，旨在代表用户访问网站、收集信息并将其直接反馈给用户。这些工具在未来成为主流，对于依赖读者访问其网站的出版商来说，将产生巨大的影响。

Cloudflare 指出，按次付费的“真正潜力”可能会在“代理”的未来显现。

Cloudflare 在一篇博文中表示：“如果代理付费墙能够在网络边缘完全以编程方式运行，那会怎样？想象一下，你可以让你最喜欢的深度研究程序帮你整合最新的癌症研究或法律摘要，或者帮你找到 Soho 区最好的餐厅——然后给这个代理程序一笔预算，让它来获取最好、最相关的内容。”

要参与 Cloudflare 的实验市场，AI 公司和出版商都必须开设 Cloudflare 账户。在他们的账户中，双方可以设定购买和出售出版商内容“爬取”的价格。Cloudflare 在这些交易中充当中介，向 AI 公司收取费用，并将收益分配给出版商。

Cloudflare 发言人 Ripley Park 告诉 TechCrunch，目前按次付费模式并不涉及稳定币或加密货币，尽管许多人认为数字货币非常适合此类模式。