资讯

Reddit 与 Google 等公司签署了协议,将其用户生成的内容出售给 Google 等公司训练 AI,它限制了其它 AI 公司抓取其内容。但现在 Reddit 发现部分 AI 公司改从互联网馆的 Wayback Machine 抓取 ...
十轮网科技资讯 on MSN2 天

Reddit将封锁Internet Archive的大部分爬取

The Verge本周报道,社交新闻平台Reddit即将封锁网际网络文件馆(Internet Archive)对该平台的大部分爬取,原因是许多AI企业都借由该馆的时光机(Wayback Machine)功能来抓取Reddit内容。
Reddit 发言人在向媒体解释这一变化时表示,这是因为一些 AI 企业以违反平台政策的方式通过互联网档案馆的存档页面抓取该企业数据。Reddit 允许企业付费抓取 AI 所需的数据,但 经由互联网档案馆间接访问显然绕过了这一规定 。
AI公司发现通过Wayback Machine抓取Reddit的历史数据,既无需遵守Reddit的平台政策(如付费、合规协议),又能获取训练所需的大量内容,于是就利用这一漏洞开始了违规“曲线获取数据”的行为。 Reddit发言人Tim ...