【ITBEAR】8月22日消息，近期，有报道指出，百度百科采取了新措施，对谷歌、必应等众多搜索引擎实施了屏蔽策略，此举被推测是为了防止这些搜索引擎及其他爬虫未经授权抓取其内容用于人工智能训练。
根据百度百科的robots.txt文件显示，目前仅有几个搜索引擎被授权可以抓取其内容，包括百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider以及宜搜搜索(EasouSpider)。
据ITBEAR了解，谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他所有搜索引擎爬虫均被明确禁止访问百度百科的内容。尽管360搜索并未在封禁名单中单独列出，但由于百度百科的策略是禁止所有非白名单爬虫，因此360搜索和其他搜索引擎同样受到了屏蔽。
然而，这种屏蔽措施或许只能阻挡一部分访问，仍有许多爬虫可能会通过其他方式继续抓取内容并用于AI训练。
