防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

快科技今日(8月22日)消息,据报道,近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示,目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人,肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

也许你还喜欢

定投策略为何受长期者青睐?它如何平

定投策略,也称为“定期定额投资”,是将固定金额按一定周期投入市场

《黑神话:悟空》齐齐整整四十五难成

《黑神话:悟空》中的有难度的成就是非常多的,齐齐整整四十五难就是其中一个

策略游戏《蚂蚁帝国》预购开启 国

今日(8月22日),策略游戏《蚂蚁帝国》今日开启预购,国区本体售价1

2026游戏大全 全网热门免费手游精

p游戏大全免费游戏这东西,说白了就是追求高性价比体验——不花一分

凹凸手游有哪些游戏 2026热门凹凸

凹凸手游系列以热门国产动画《凹凸世界》为IP根基,围绕其世界

PIPPIN币为什么会出现“多空绞杀”

PIPPIN 币出现“多空绞杀”行情,主要源于其市场结构、资金集

《黑神话:悟空》巧线死结四十七难成

《黑神话:悟空》中的有难度的成就是非常多的,巧线死结四十七难就是其中一个

新手可以在solana链上买币吗?solana

新手可以在solana链上买币,但买币过程相对复杂。用户可以通过

《战锤:末世鼠疫2》全新PVP+E模式开

由Fatshark(也叫肥鲨)打造的在线战锤:末世鼠疫2》最初发售于

找什么东西的游戏有哪些 2026年热

寻找类游戏趣味十足,通常构建沉浸式场景,引导玩家在限定时间内