Cloudflare与GoDaddy于本周二宣布建立战略合作伙伴关系，旨在提升网站所有者对AI代理抓取网页数据的控制权。此次合作的核心在于将Cloudflare的“AI爬虫管控”（AI Crawl Control）工具直接集成至GoDaddy的平台中。
该工具赋予了网站管理员更大的自主权，他们可以选择允许、拦截特定AI爬虫的访问，甚至可以针对数据抓取行为设置付费门槛。随着互联网流量日益被AI搜索工具截流，这一举措旨在保护网站运营商的经济利益，防止因内容被无偿抓取而导致的点击量流失。
Cloudflare首席战略官Stephanie Cohen表示，通过为网站所有者提供此类工具及开放标准，他们正在为新的互联网商业模式构建基础。Cohen强调，公司致力于确保每位创作者都能验证访问者的身份，同时为合法的AI代理提供安全、透明的参与途径。
此前，Cloudflare已在限制未经授权的爬虫方面采取了多项激进措施。2025年，该公司曾推出一项利用“垃圾数据”诱捕并消耗爬虫算力的技术。Cloudflare指出，由于Google AI Overviews等工具直接向用户提供答案，导致用户不再点击原始链接，许多内容发布者因此遭受了巨大的收入损失。
建立AI代理身份认证体系
除了封锁行为，双方还共同支持一套旨在区分“良性”与“恶意”爬虫的行业标准。为此，两家公司明确表示支持“代理名称服务”（Agent Name Service, ANS）。
该方案由GoDaddy开发并已在GitHub开源，其运作逻辑类似于互联网的DNS系统。通过建立一个协议无关的注册表，ANS能够将AI代理与其背后的控制方进行关联，从而提升网络环境的信任度。
此外，双方还力推Cloudflare的“Web Bot Auth”认证方法。这种多管齐下的手段不仅是为了筑起防御墙，更是试图在AI时代为内容生产者与AI开发者之间建立一套可行的合规交易框架。
