无视网站反抓取政策，爬虫引起多个网站所有者不满

生活 2024年07月28日 08:05 261 卉熙

IT之家7月27日消息，据TheVerge当地时间26日报道，Anthropic公司使用的ClaudeBot在短短24小时之内，就访问了iFixit网站近百万次，此举违反了该网站的使用条款。

这一显得有些疯狂的举动，引起iFixit的CEOKyleWiens直接在X（推特）上开怼，IT之家附大意如下：

“如果这些请求（指访问）中的任何一个访问了我们的使用条款，那么它会告诉你我们的内容被明确禁止使用。别问我，去问Claude！”

“我知道你渴望获得数据，Claude也真的很聪明！但是，你真的有必要在24小时内访问我们的服务器100万次吗？你不仅在不付费的情况下获取我们的内容，还占用了我们的devops资源，一点都不酷！”

“如果你想要跟我们谈谈内容许可和商业用途的话，我们就在这呢。”

iFixit的使用条款政策声明，无视网站反抓取政策，爬虫引起多个网站所有者不满“未经公司事先明确的书面许可，严格禁止复制、复制或分发”网站上的任何内容，特别包括“用于训练机器学习或AI模型”。

Wiens此后表示，iFixit已经在其robots.txt文件中添加了“爬行延迟”扩展。

然而，iFixit并非唯一的受害者。ReadtheDocs联合创始人EricHolscher和Freelancer.comCEOMattBarrie在Wiens的帖子中表示，他们的网站也曾被Anthropic的爬虫频繁抓取。

这些行为并非ClaudeBot的“初犯”。早在今年4月，LinuxMint网站论坛就将一次网站故障归因于ClaudeBot的抓取活动造成的压力。

LV的投入，物超所值——开幕式镜头下的精彩瞬间