您所在的位置：首页 - 手机 - 正文手机
被曝屏蔽多个搜索引擎和爬虫，官方称与谷歌合作无关
admin
07-25
【手机】
726人已围观
摘要IT之家7月25日消息，被曝屏蔽多个搜索引擎和爬虫，官方称与谷歌合作无关今年2月，谷歌宣布与Reddit达成一项新协议，Reddit数据将用于训练谷歌的AI模型，并在谷歌搜索结果中着重显示Reddit结果。彭博社报道称，这笔交易的金额约为6000万美元。从那时起，Reddit在谷歌搜索中的展示次数也大幅增加。而最新消息称，Reddit已禁止其他搜索引擎检索其网站内容。外媒404Media最先报道了此行为，并指出Reddit已更新其robots.txt文件（IT之家注：网站与爬虫的协议文件），阻止
IT之家7月25日消息，被曝屏蔽多个搜索引擎和爬虫，官方称与谷歌合作无关今年2月，谷歌宣布与Reddit达成一项新协议，Reddit数据将用于训练谷歌的AI模型，并在谷歌搜索结果中着重显示Reddit结果。彭博社报道称，这笔交易的金额约为6000万美元。从那时起，Reddit在谷歌搜索中的展示次数也大幅增加。
而最新消息称，Reddit已禁止其他搜索引擎检索其网站内容。外媒404Media最先报道了此行为，并指出Reddit已更新其robots.txt文件（IT之家注：网站与爬虫的协议文件），阻止所有机器人抓取网站的任何内容。
IT之家查询Reddit网站的robots.txt文件获悉，该平台称“Reddit相信开放的互联网，但不相信滥用公共内容。”其“Disallow”选项设置为“/”，也就是禁止检索网站根目录下的所有文件。
该文件在今年6月首次更新，Reddit解释说，这一更改是由于“抓取Reddit内容的商业实体明显增多并且内容被滥用”。
Reddit发言人TimRathschmidt在给TheVerge的一份声明中表示：“这与我们最近与谷歌的合作完全无关。我们一直在与多个搜索引擎进行讨论，但无法与所有人达成协议，因为有些人无法或不愿意就他们使用Reddit内容（包括他们对AI训练的使用）作出可执行的承诺。”
Tags： 被曝屏蔽多个搜索引擎和爬虫官方称与谷歌合作无关
上一篇： 是什么意思啊英语怎么读
