小时抓取百万次，公司被指过度抓取网站数据

经验 2024年07月31日 11:03 815 萧远

IT之家7月31日消息，金融时报（FT）发布博文，指出AI公司Anthropic虽然声称“要负责任地开发AI”，但通过ClaudeBot机器人过度抓取网站数据，用于训练Claude大语言模型。

尽管使用网络爬虫抓取数据是人工智能行业普遍做法，但Anthropic因其激进程度而受到批评。

自由职业者网站Freelancer也表示，小时抓取百万次，公司被指过度抓取网站数据ClaudeBot在四小时内访问了350万次，被迫对其进行屏蔽。批评者指出，Anthropic无视网站的robots.txt协议，强行获取数据，与其宣称的“负责任的AI”理念相悖。

维修团队iFixit首席执行官KyleWiens于7月24日发布推文，IT之家翻译如下：

@AnthropicAI，我知道你渴望获取数据，且Claude模型也非常聪明，但真的有必要24小时内访问我们的服务器100万次吗？

这些流量没有向我们付费，且占用了我们开发资源，这真的不太厚道。

我们的服务条款中已经明确禁止通过这种方式使用我们的内容，但你悄悄@AnthropicAI是怎么做的。

如果@AnthropicAI想要就我们内容的商业使用许可进行交流，我们愿意沟通。

索尼手机图标大小